Teil 3 von 3 unserer Serie über eigene Experimente mit Entscheidungsmodellen.
Die Ausgangslage
Im zweiten Teil haben wir den Strands Decider 2B Kniffel spielen lassen. Das Ergebnis war ernüchternd: Nur 15 von 114 Entscheidungen waren optimal, kaum mehr als bei zufälliger Wahl. Schwerer wog ein anderer Befund: Das Modell bewertete weniger die Würfel als die Reihenfolge der Optionen. Stand die beste Option vorne in der Liste, gewann sie in 71 von 78 Fällen, stand sie hinten, in keinem einzigen.
Daraus ergab sich die Frage für diesen Teil: Lässt sich einem kleinen Entscheidungsmodell ein Fachgebiet gezielt beibringen – so, dass es bessere Entscheidungen trifft und dabei nicht mehr auf die Reihenfolge der Liste achtet?
Der Ansatz: Ein Lehrer, der nie irrt
Kniffel hat einen großen Vorteil, den wir schon im zweiten Teil genutzt haben: Die optimale Strategie lässt sich exakt berechnen. Damit steht ein Lehrer zur Verfügung, der in jeder Spielsituation die beste Entscheidung kennt. Für das Training mussten wir also keine Daten von Hand bewerten.
Statt das ganze Modell neu zu trainieren, haben wir ein sogenanntes LoRA trainiert (Low-Rank Adaptation). Dabei bleibt das eigentliche Sprachmodell unverändert, und nur ein kleiner Zusatz mit vergleichsweise wenigen Parametern wird angepasst. Das ist deutlich günstiger als ein vollständiges Training und lässt sich auf einer einzelnen Grafikkarte durchführen.
Der Aufbau im Überblick:
flowchart LR
S["Exakte Strategie<br/>berechnet die beste Aktion"] --> D["3.000 Spielsituationen<br/>Optionen zufällig gemischt"]
D --> L["LoRA-Training<br/>Basismodell eingefroren"]
L --> T["Test auf eingefrorenen<br/>Situationen aus Teil 2"]
D -. "Abgleich: keine Überschneidung" .- T
Drei Entscheidungen beim Aufbau waren uns besonders wichtig:
- Die Optionen wurden für jedes Trainingsbeispiel zufällig gemischt. Jede Spielsituation kam zweimal vor, jeweils in einer anderen Reihenfolge. So kann das Modell aus der Position einer Option nichts lernen – nur aus ihrem Inhalt. Die Reihenfolgen, mit denen wir später getestet haben (die ursprüngliche und die umgedrehte), kamen im Training gar nicht vor.
- Die Testsituationen blieben unangetastet. Wir haben genau die 114 Entscheidungen aus den drei Partien des zweiten Teils wieder verwendet. Vor dem Training haben wir geprüft, dass keine davon in den Trainingsdaten auftaucht: 10 übereinstimmende Situationen wurden entfernt, außerdem 170 Dubletten. Danach gab es keine Überschneidung mehr.
- Ein Teil der Daten wurde nie trainiert. 150 Situationen dienten der laufenden Kontrolle während des Trainings, 300 der Kalibrierung der Wahrscheinlichkeiten, 200 als zusätzlicher interner Test.
Wie schnell das Modell lernt
Trainiert wurde in zwei Durchläufen über die Daten. Während des Trainings haben wir regelmäßig gemessen, wie oft das Modell auf den Kontrolldaten optimal entscheidet:
Die Kurve zeigt, wie viel schon wenige Beispiele bewirken: Nach rund 640 Trainingsbeispielen lag der Anteil optimaler Entscheidungen beim Behalten der Würfel bei 61 % statt bei 15 %. Danach ging es nur noch langsam voran. Für den Test haben wir nicht automatisch den letzten Stand genommen, sondern den mit dem geringsten Fehler auf den Kontrolldaten – das war kurz vor Ende des Trainings.
Das Ergebnis: von 15 auf 90 optimale Entscheidungen
Auf den 114 eingefrorenen Entscheidungen aus dem zweiten Teil sieht der Vergleich so aus:
| Ursprüngliches Modell | Nach dem Training | |
|---|---|---|
| Optimale Entscheidungen gesamt | 15 von 114 | 90 von 114 |
| davon Würfel behalten | 6 von 78 | 60 von 78 |
| davon Werten | 9 von 36 | 30 von 36 |
| Schwierige Fälle mit 20–32 Optionen | 0 von 40 | 28 von 40 |
| Verschenkte Punkte je Entscheidung (Mittel) | 5,53 | 0,30 |
| Verschenkte Punkte über alle 114 Entscheidungen | rund 630 | rund 34 |
Am deutlichsten ist der Fortschritt dort, wo das ursprüngliche Modell völlig versagt hatte: Bei Entscheidungen mit 20 bis 32 Optionen war vorher keine einzige Wahl optimal, jetzt 28 von 40. Auch auf den 200 internen Testsituationen stieg die Zahl optimaler Entscheidungen von 35 auf 167.
Wichtig für die Einordnung: Der Test misst einzelne Entscheidungen in festen Spielsituationen, keine kompletten neuen Partien. Wie viele Punkte das trainierte Modell in einem ganzen Spiel erreicht, haben wir nicht gemessen.
Und die Reihenfolge?
Das war für uns die eigentlich spannende Frage. Wir haben dieselben Tests wiederholt wie im zweiten Teil: alle 78 Situationen zum Behalten der Würfel, mit umgedrehter und zweimal zufällig gemischter Reihenfolge.
- Steht die beste Option vorne oder hinten, macht das kaum noch einen Unterschied. Vorne gewann sie 54-mal, hinten 58-mal. Vorher waren es 71 und 0.
- Die Antwort wechselt nur noch selten. Beim Umordnen änderte sich die gewählte Aktion in 4 bis 10 von 78 Situationen, vorher in 72 bis 73.
- Der erste Listenplatz ist nichts Besonderes mehr. Bei zufällig gemischten Listen stand die gewählte Option vorher in 125 von 156 Fällen an erster Stelle. Jetzt waren es 8 – rein zufällig wären etwa 8,4 zu erwarten.
Ganz verschwunden ist die Abhängigkeit allerdings nicht. Einige Entscheidungen kippen weiterhin, wenn man nur die Reihenfolge ändert, und beim Werten zeigte sich eine leichte Neigung zu weiter hinten stehenden Optionen.
Eine naheliegende Erklärung, die wir aber nicht geprüft haben: Die Reihenfolge war für das ursprüngliche Modell eine Ausweichstrategie. Wenn es die Optionen inhaltlich nicht unterscheiden konnte, griff es auf die Position zurück. Sobald es die Würfel verstand, brauchte es diese Krücke nicht mehr.
Was das Training mit dem Rest gemacht hat
Wer ein Modell auf ein Fachgebiet spezialisiert, sollte prüfen, ob es dabei anderswo schlechter wird. Dafür haben wir alle 22 unterschiedlichen Fragestellungen aus dem ersten Teil erneut vorgelegt – das Fertigungsszenario in seinen verschiedenen Formulierungen. In 21 von 22 Fällen blieb die gewählte Antwort gleich. Die Wahrscheinlichkeiten verschoben sich aber spürbar, um bis zu rund 23 Prozentpunkte. Ein Teil davon dürfte auf die neu eingestellte Kalibrierung zurückgehen; sauber getrennt haben wir das nicht. Für den produktiven Einsatz hieße das: Nach jedem Training gehören auch die bisherigen Aufgaben wieder in den Test.
Das Training kostete 3,26 Euro – das Projekt nicht
Trainiert haben wir auf einer einzelnen Grafikkarte vom Typ NVIDIA Tesla T4, gemietet als Container-Job in Microsoft Azure. Das Training lief über Nacht rund 4,7 Stunden. Die Azure-Rechnung dafür: 3,22 Euro für die Rechenzeit und 0,04 Euro für den Speicher, zusammen 3,26 Euro. Möglich war dieser niedrige Betrag auch durch das monatliche Freikontingent von Azure; zum vollen Listenpreis wären es nach unserer Rechnung rund 10 US-Dollar gewesen. Ein erster Versuch war übrigens schon gleich zu Beginn abgebrochen, weil im Container ein Compiler fehlte – auch das gehört zur Wahrheit.
Diese Zahl ist bemerkenswert, aber sie führt leicht in die Irre. Die Rechenzeit war der kleinste Teil der Arbeit. Den größeren Teil machten aus:
- die exakte Kniffel-Strategie als Lehrer und als Maßstab,
- das Erzeugen und Aufteilen der Trainingsdaten,
- die Prüfung, dass Test- und Trainingsdaten sich nicht überschneiden,
- die Testumgebung mit eingefrorenen Situationen und umgeordneten Listen,
- die Auswertung und die Frage, was die Zahlen eigentlich bedeuten.
Genau dort steckt auch der Wert: Ohne einen verlässlichen Maßstab hätten wir weder gewusst, dass das ursprüngliche Modell die Liste spielt, noch, ob das Training etwas bewirkt hat. Für Unternehmen ist das die eigentliche Lehre. Ein Modell an die eigene Aufgabe anzupassen, ist heute technisch günstig. Aufwendig ist es, sauber zu messen, ob es danach wirklich besser entscheidet.
Die Grenzen unseres Experiments
Wir haben ein Modell (Strands Decider 2B in Version 19) mit einer Trainingskonfiguration für ein einziges Spiel angepasst. Der externe Test umfasst 114 Entscheidungen aus drei Partien. Kniffel hat den Vorteil einer exakt berechenbaren besten Antwort – in den meisten echten Anwendungen gibt es so einen perfekten Lehrer nicht, und Trainingsdaten sind dort deutlich schwerer zu bekommen. Ob sich die Ergebnisse auf andere Modelle, die neuere Version 21 oder andere Aufgaben übertragen lassen, ist offen.
Was wir aus der Serie mitnehmen
- Die Darstellung zählt. Formulierung, Bezeichnungen und Reihenfolge verschieben die Wahrscheinlichkeiten eines Entscheidungsmodells, teilweise bis zum Kippen der Entscheidung (Teil 1).
- Lange Listen sind ein Risiko. Bei vielen Optionen kann ein allgemeines Modell mehr auf die Position als auf den Inhalt achten (Teil 2).
- Gezieltes Nachtraining wirkt – wenn man messen kann. Mit einem verlässlichen Lehrer und sauberer Testmethode wurde das Modell deutlich besser und weitgehend unabhängig von der Reihenfolge (Teil 3).
Den vorherigen Teil finden Sie in 15 von 114: Was passiert, wenn ein Entscheidungsmodell Kniffel spielt, den Einstieg in Framing-Effekt bei KI: Unser Entscheidungsmodell im Kahneman-Test.
Sie überlegen, ein KI-Modell an eine eigene Aufgabe anzupassen – und wollen vorher wissen, wie Sie den Erfolg messen? Mehr unter KI-Agenten für Unternehmen oder sprechen Sie uns direkt an.
Quellen: Hu, E. J. et al. (2021): LoRA – Low-Rank Adaptation of Large Language Models (arXiv) · Hugging Face – Strands Decider 2B (Version 19) · Tom Verhoeff – Optimal Solitaire Yahtzee (TU Eindhoven)
