Eine KI, die sagen kann, dass sie es nicht weiss.
Das Versprechen der Fehlerfreiheit überlebt das erste Gegenbeispiel nicht. Haltbar ist ein Fehler, der begrenzt, nachvollziehbar und gemessen ist. Hier die Architektur, die daraus folgt, und das, was Sie von einem Anbieter verlangen können.
Das Versprechen, das man nie geben sollte
«Unsere künstliche Intelligenz halluziniert nicht.» Der Satz verkauft sich gut, und er hält der ersten Prüfung nicht stand. Ein einziges Gegenbeispiel genügt, damit der Kunde auch alles Übrige nicht mehr glaubt: die Verfügbarkeit, den Zeitplan, die Sicherheit. Ein absolutes Versprechen macht aus jedem kleinen Zwischenfall den Beweis einer Lüge.
Das Problem ist nicht kaufmännisch, es ist technisch. Ein Sprachmodell liefert immer eine Antwort. Es besitzt keinen internen Mechanismus, mit dem es feststellen könnte, dass es etwas nicht weiss: Es reiht plausible Wörter aneinander, und plausibel ist genau das, was wahr aussieht. Fehlerfreiheit zu versprechen heisst zu versprechen, dass ein Werkzeug gegen seine Natur handelt.
Was sich stattdessen versprechen lässt
Das haltbare Versprechen betrifft nicht die Abwesenheit von Fehlern. Es betrifft die Grenzen, die man um den möglichen Fehler zieht, und die Tatsache, dass man ihn misst.
Konkret ergibt das vier Zusagen, die sich alle vier überprüfen lassen. Das System kann nichts behaupten, was nicht in Ihren Daten steht. Jeder Satz nennt seine Quelle. Jede Zahl wird berechnet und nicht vom Modell erzeugt. Die Treuequote wird laufend auf einem Testdatensatz gemessen, nicht einmalig in einer Broschüre verkündet. Und was unter die Schwelle fällt, geht in die menschliche Prüfung, statt ausgeliefert zu werden.
Der Unterschied zum absoluten Versprechen: Ein Kunde kann verlangen, es zu sehen. Ein Testdatensatz lässt sich einsehen, ein Wert lässt sich neu berechnen, eine Schwelle lässt sich verschieben. Nichts davon ist eine Frage des Vertrauens.
Die Architektur, die das Versprechen einlöst
Eine Doktrin, die an der Bauweise nichts ändert, ist wertlos. Diese hier hat genaue Folgen dafür, wie das System zusammengesetzt wird, und die wichtigste besteht darin, dem Sprachmodell alles zu entziehen, was es schlecht macht.
Fakten, Kennungen und Beträge stammen aus Ihrer Datenbank oder aus Ihren Dokumenten, nie aus dem Gedächtnis des Modells. Berechnungen, Bewertungen und Kritikalitätsregeln stehen im Code, sind also testbar und damit korrigierbar. Das Modell kommt erst am Ende der Kette zum Zug, um in Form zu bringen, was man ihm geliefert hat.
Der Rest beruht auf drei Baugrundsätzen. Die Dokumentensuche steht vor der Generierung, womit es untersagt ist, ein ganzes Dossier in den Kontext zu kippen und zu hoffen, dass das Modell sich darin zurechtfindet. Die Anweisungen sind atomar: eine Aufgabe pro Aufruf, mit streng festgelegtem Ausgabeformat, statt einer ausufernden Anweisung, die acht Dinge auf einmal verlangt. Und das Vertrauen wird Feld für Feld gemessen, nicht gesamthaft, denn ein Dokument kann in neun Feldern einwandfrei gelesen und im zehnten unlesbar sein.
Die Risiken, die bleiben, und sie bleiben
Eine ehrliche Doktrin benennt, was sie nicht abdeckt. In dieser Architektur bleiben vier Risiken bestehen, und wir schreiben sie lieber auf, als sie zusammen mit Ihnen zu entdecken.
Die Dokumentensuche kann die falsche Quelle liefern: Das System ist dann treu, aber treu gegenüber dem Falschen. Die Formatierung kann den Inhalt verfälschen, seltener zwar, doch das Risiko ist auch dann nicht null, wenn das Modell nur verpackt. Die Einordnung der Anfrage kann danebenliegen und auf das falsche Verfahren führen. Und schliesslich kann eine Angabe gesichert und zugleich veraltet sein, was kein Treuemechanismus erkennt.
Diese vier Risiken werden mit denselben Mitteln bearbeitet: Quellen nennen, damit ein Mensch nachprüfen kann, Schwellen setzen, die eine Nachkontrolle auslösen, und laufend messen, statt anzunehmen, dass das vom letzten Monat noch gilt. Keines lässt sich durch eine Behauptung erledigen.
Das sehr grosse Kontextfenster ist ein Verkaufsargument
Ein Argument taucht in fast jeder Offerte auf: das riesige Kontextfenster, vorgestellt als Lösung des Zuverlässigkeitsproblems. Man müsse dem Modell nur alles geben, dann finde es schon.
Die veröffentlichte Forschung sagt das Gegenteil. Die Fähigkeit eines Modells, eine Information zu nutzen, nimmt je nach Position dieser Information in einem stark gefüllten Kontext ab: Was in der Mitte eines sehr langen Dokuments steht, wird deutlich schlechter verwertet als das, was an den Rändern steht. Mehr hineinzuladen macht nicht zuverlässiger, es verschiebt das Problem.
Eine Offerte, die mit der Grösse ihres Fensters wirbt, ohne ihre Anweisungsarchitektur zu zeigen, verkauft ein Merkmal ihres Modellanbieters, keine Eigenschaft ihres Systems.
Einem System das Schweigen beibringen
Die nützlichste Arbeit an unseren eigenen Produkten besteht nicht darin, die Antworten zu verbessern. Sie besteht darin, an den richtigen Stellen Schweigen zu erreichen.
Ein Auszug, dessen Relevanz unter einer gemessenen Schwelle liegt, geht nicht in die Antwort ein. Vor allem geht er auch nicht in das ein, was dem Modell übergeben wird, und das ist nicht dasselbe: Ein Auszug, den man nur aus der Anzeige nimmt, beeinflusst die Antwort weiterhin, und das System scheint dann sauber Quellen zu zitieren, die nichts belegen. Wenn kein Auszug mehr die Schwelle überschreitet, sagt das System, dass der Punkt nicht abgedeckt ist, statt zu füllen.
Das ist eine teure Anforderung. Ein System, das immer antwortet, macht in der Vorführung den besseren Eindruck, und der Unterschied zeigt sich erst im Betrieb, an dem Tag, an dem sich jemand auf eine Antwort stützt, die es nicht hätte geben dürfen.
Was Sie verlangen können
Wenn Sie eine Offerte im Bereich künstliche Intelligenz beurteilen, genügen vier Forderungen, um jene zu trennen, die gemessen haben, von jenen, die behaupten.
Verlangen Sie die Fehlerquote pro Feld, auf einem Testdatensatz, den Sie einsehen können. Verlangen Sie zu wissen, was das System tut, wenn es etwas nicht weiss, und lassen Sie es an einer Frage ausserhalb des Perimeters vorführen. Verlangen Sie zu erfahren, welche Zahlen berechnet werden und welche das Modell erzeugt. Verlangen Sie schliesslich, welche Risiken bestehen bleiben, im Wissen darum, dass eine Antwort vom Typ «keine» die Offerte sicherer disqualifiziert als jede eingestandene Grenze.
Wir stellen diese vier Fragen unseren eigenen Systemen, bevor wir sie anbieten, und wir veröffentlichen die Mängel, die wir dabei finden. Das ist die einzige uns bekannte Art, ein Versprechen überprüfbar zu machen statt bloss glaubwürdig.
Zur Verschlechterung der Verwertung einer Information je nach ihrer Position in einem stark gefüllten Kontext siehe die unter dem Namen «lost in the middle» veröffentlichten Arbeiten (Liang et al.).