Eine Kennzahl, die das Gedächtnis misst, nicht die Fähigkeit.
Ein System an den Fällen zu messen, mit denen es gebaut wurde, ergibt nicht einfach eine optimistische Zahl. Es ergibt eine Zahl, die die Optionen in der falschen Reihenfolge ordnet und dazu führt, dass man das Falsche kauft.
Die Falle schnappt im natürlichsten Moment zu
Sie bauen ein System auf einer Menge von Beispielfällen auf. Sie nutzen sie, um die Regeln zu schreiben, die Formulierungen zu wählen, die Zuordnungen einzustellen. Dann kommt der Moment des Messens, und Sie messen auf genau diesen Fällen, weil es die einzigen sind, deren richtige Antwort Sie kennen.
Die erhaltene Zahl hat in der Statistik einen Namen: Es ist ein Wert aus Resubstitution. Er misst nicht die Fähigkeit des Systems, ein Dossier zu bearbeiten, er misst seine Treue zu sich selbst. Und er fällt fast immer schmeichelhaft aus, weil das System auf genau diesen Fällen geformt wurde.
Das Problem ist nicht, dass er optimistisch ist. Es ist, dass er ungleichmässig optimistisch ist und die Optionen damit in der falschen Reihenfolge ordnet.
Was die Messung ergeben hat
Wir haben drei lokal ausgeführte Sprachmodelle mit wachsender Grösse verglichen, bei strikt identischem Code. Zwei Fallmengen: jene, die zur Konstruktion gedient hatte, und eine Menge realer, nie gesehener Fälle.
| Lokales Modell | Konstruktionsfälle | Ungesehene Fälle |
|---|---|---|
| Das kleinste, rund 2 GB | 67 % | 15 % |
| Das mittlere, rund 4,4 GB | 78 % | 18 % |
| Das grösste, rund 7,1 GB | 89 % | 20 % |
Zweiundzwanzig Punkte Abstand auf dem Konstruktionskorpus, fünf Punkte auf dem realen. Der kleine Datensatz ordnete die Modelle sauber nach Grösse, also genau in der Rangfolge, die man erwartet, und diese Rangfolge war falsch. Bei einer der gemessenen Aufgaben übertraf das mittlere Modell sogar das grösste.
Der praktische Schluss ist hart: Auf dem Konstruktionskorpus rezitiert ein grösseres Modell besser, was man ihm bereits gegeben hat. Das ist Gedächtnis, nicht Fähigkeit. Jeder Kaufentscheid auf Grundlage dieser linken Spalte wäre ein Entscheid auf Rauschen gewesen.
Das Signal, das mehr wert ist als die Kennzahl selbst
Eine zweite Feststellung aus derselben Kampagne erwies sich als noch nützlicher. Zwei Mechanismen ohne jede Gemeinsamkeit wurden an denselben Fällen gemessen: auf der einen Seite ein Motor aus deterministischen Regeln, auf der anderen ein Sprachmodell. Sie stiessen an derselben Stelle an ihre Grenze, wenige Zehntelpunkte voneinander entfernt.
Dieses Signal ist leicht zu bekommen und wird selten gesucht. Es genügt, über einen zweiten Mechanismus zu verfügen, und sei er rudimentär, um zu wissen, ob die beobachtete Obergrenze zum System oder zu den Daten gehört. Ist die Frage einmal so gestellt, ändert die Arbeit ihre Natur: Man hört auf, Anweisungen nachzujustieren, und geht suchen, was im Material fehlt.
Wie man sich konkret davor schützt
Vier Handgriffe genügen, und sie kosten wenig im Vergleich zu dem, was sie vermeiden.
Die Datensätze trennen, bevor die erste Regel geschrieben wird. Vom ersten Tag an einen Teil der Fälle beiseitelegen, sie während der Konstruktion nie öffnen und in Kauf nehmen, sie spät zu entdecken. Ein Validierungsdatensatz, der nachträglich aus bereits Bekanntem zusammengeklaubt wird, ist wertlos.
Den Zufallsstartwert festsetzen, damit zwei aufeinanderfolgende Messungen vergleichbar sind. Sonst verschwimmt der Abstand zwischen zwei Versionen mit der Schwankung von Ziehung zu Ziehung, und man schreibt einer Verbesserung zu, was blosser Zufall ist.
Nach Muster aufschlüsseln, statt einer Gesamtkennzahl zu folgen. Eine einzelne Zahl kann stabil bleiben, während eine Kategorie einbricht und eine andere zulegt. Die Aufschlüsselung nach Falltyp zeigt die Rückschritte, die ein Mittelwert verdeckt.
Den Warnhinweis in das Messwerkzeug selbst schreiben. Das ist der wirksamste der vier Handgriffe. Unser Bewertungsgerüst zeigt neben jeder Zahl aus dem Konstruktionskorpus ausdrücklich an, dass es sich um einen Wert aus Resubstitution handelt. Eine mündliche Abmachung geht zwischen zwei Sitzungen verloren, ein bei jedem Lauf gedruckter Hinweis nicht.
Was das bedeutet, wenn Ihnen eine Zahl vorgelegt wird
Wenn ein Anbieter Ihnen eine Erfolgsquote nennt, ist die erste Frage nicht deren Höhe. Sie lautet: auf welchen Fällen, und haben diese Fälle dazu gedient, das System zu bauen.
Eine verlegene Antwort auf diese Frage sagt mehr als der Prozentsatz selbst. Und eine ehrliche Antwort vom Typ «hier der Wert auf den Konstruktionsfällen, hier jener auf ungesehenen Fällen, der Abstand beträgt so und so viel» weist auf einen Anbieter hin, der die Arbeit gemacht hat, wie gross der genannte Abstand auch sei.
Wir wenden diese Regel auf unsere eigenen Messungen an, auch wenn der Abstand gegen uns spricht. Es ist die einzige Art, eine Zahl für jemanden brauchbar zu machen, der entscheiden muss.