15 von 114: Was passiert, wenn ein Entscheidungsmodell Kniffel spielt

Teil 2 von 3 unserer Serie über eigene Experimente mit Entscheidungsmodellen.

Vom Gedankenexperiment zum echten Spiel

Im ersten Teil haben wir gezeigt, dass schon die Formulierung einer Frage die Wahrscheinlichkeiten des Strands Decider 2B verschiebt. Das war ein einzelnes Szenario, bei dem es keine richtige Antwort gab. Als Nächstes wollten wir wissen: Wie gut entscheidet das Modell, wenn es eine objektiv beste Entscheidung gibt – und jede Entscheidung Folgen hat?

Dafür haben wir es Kniffel spielen lassen.

Warum ausgerechnet Kniffel?

Kniffel – im Englischen Yahtzee – ist für so einen Test fast ideal:

• Die Regeln sind einfach und vollständig bekannt.
• Es gibt keinen Gegner, nur Würfel und Wahrscheinlichkeiten.
• Jede Entscheidung hat Folgen: Wer ein Feld belegt, kann es nicht mehr nutzen.
• Die Zahl der Möglichkeiten wechselt ständig. Beim Behalten der Würfel sind es je nach Wurf bis zu 32 Optionen, beim Werten zu Beginn 13.
• Vor allem lässt sich für Kniffel allein die optimale Strategie exakt berechnen. Für jede Spielsituation wissen wir also genau, welche Entscheidung im Erwartungswert die beste ist.

Wir haben das Regelwerk des optimalen Solitär-Yahtzee-Spielers von Tom Verhoeff (TU Eindhoven) verwendet. Seine optimale Strategie erreicht im Mittel 254,59 Punkte – unsere Berechnung reproduziert genau diesen Wert.

Der Aufbau war so gewählt, dass das Modell nur entscheidet, aber nichts falsch machen kann, was nicht erlaubt wäre:

flowchart TD
    E[Spiel-Engine würfelt] --> L["Liste aller erlaubten Aktionen"]
    L --> M["Entscheidungsmodell wählt eine Aktion"]
    M --> A[Engine führt die Aktion aus]
    A --> E
    S["Exakte Strategie bewertet jede Option"] -.->|nur zur Auswertung,<br/>nie für das Modell sichtbar| M

Die Spiel-Engine verwaltet Würfel und Regeln. Das Modell bekommt die Spielsituation und die Liste der erlaubten Aktionen und wählt eine davon. Die Engine führt sie aus – auch wenn sie schlecht ist. Parallel bewertet die exakte Strategie jede Option, damit wir hinterher messen können, wie viele Punkte jede Entscheidung im Erwartungswert gekostet hat. Diesen Verlust nennt man Regret.

Das Ergebnis: knapp besser als Würfeln

In drei vollständigen Partien traf das Modell 114 Entscheidungen. Davon waren 15 optimal. Hätte man an denselben Stellen einfach zufällig gewählt, wären im Erwartungswert 10,7 optimal gewesen. Das Modell war also nur knapp besser als der Zufall.

Die Endstände lagen bei 82, 44 und 64 Punkten. Die optimale Strategie hätte mit denselben Würfen 239, 416 und 316 Punkte erreicht. Zusammengerechnet hat das Modell über die drei Partien rund 630 Punkte im Erwartungswert verschenkt – eine Zufallswahl hätte rund 742 gekostet.

Ein Moment steht dafür besonders: Im neunten Zug fielen im ersten Wurf fünf Einsen. Das Kniffel-Feld war noch frei, alle Würfel behalten hätte sicher 50 Punkte gebracht. Das Modell war sich unsicher: „Alle behalten" bekam 22,7 %, „eine Eins behalten und vier neu würfeln" 23,6 %. Es würfelte neu. Danach lagen 1, 1, 4, 5, 5 auf dem Tisch, der Kniffel war weg – ein erwarteter Verlust von rund 54 Punkten in einer einzigen Entscheidung.

Auffällig war außerdem, wie unsicher das Modell durchweg war: In 93 von 114 Entscheidungen lag die Wahrscheinlichkeit für die gewählte Option unter 30 %. Und je mehr Optionen zur Auswahl standen, desto schlechter wurde es. Bei Entscheidungen mit 21 bis 32 Optionen war die gewählte Aktion in keinem der 40 Fälle die beste.

Der eigentliche Befund: Das Modell spielt die Liste

Beim genaueren Hinsehen war die schwache Spielstärke aber gar nicht das Merkwürdigste. Bei den Entscheidungen, welche Würfel man behält, gewann in 62 von 78 Fällen die zweite Option der Liste. Weil die Liste immer gleich sortiert war, bedeutete das stets: „Einen Würfel mit dem niedrigsten Wert behalten." In 50 Fällen behielt das Modell eine einzelne Eins.

War das eine Vorliebe für niedrige Würfel – oder schlicht für den zweiten Listenplatz? Um das zu klären, haben wir alle 78 Spielsituationen eingefroren und dem Modell erneut vorgelegt. Spielstand, Frage und Optionen blieben Wort für Wort gleich. Nur die Reihenfolge der Optionen haben wir geändert: umgedreht und zweimal zufällig gemischt.

Das Ergebnis war eindeutig. In 72 bis 73 von 78 Situationen wechselte die gewählte Aktion, nur weil die Optionen anders sortiert waren. Die Wahrscheinlichkeitsverteilung war danach praktisch eine andere.

Im deutlichsten Test haben wir nur eine einzige Sache verändert: ob die beste Option ganz vorne oder ganz hinten in der Liste steht.

Stand die beste Option vorne, gewann sie in 71 von 78 Fällen. Stand dieselbe Option hinten, gewann sie in keinem einzigen. Ihre Wahrscheinlichkeit sank in 77 von 78 Situationen, im Mittel (Median) um rund 24 Prozentpunkte. Das Modell bewertete also weniger die Würfel als die Liste.

Bei den Entscheidungen, in welches Feld man wertet, zeigte sich dieses Muster übrigens nicht. Dort gibt es weniger Optionen, und jede nennt direkt die Punkte, die sie bringt.

Was das für die Praxis bedeutet

Im ersten Teil hat die Reihenfolge der Antwortoptionen kaum eine Rolle gespielt – bei zwei Optionen. Bei 20 oder 30 Optionen sieht das völlig anders aus. Für KI-Agenten ist das eine wichtige Erkenntnis, denn Listen mit vielen Optionen sind dort alltäglich: verfügbare Werkzeuge, Kategorien für Tickets, mögliche nächste Schritte.

• Die Reihenfolge ist oft zufällig – das Modell nimmt sie aber ernst. Wenn eine Liste alphabetisch, nach Datum oder nach Datenbank-ID sortiert ist, entscheidet diese Sortierung womöglich mit, was das Modell wählt.
• Weniger Optionen sind robuster. Wo es geht, sollte man Entscheidungen in kleinere Fragen mit wenigen Antworten zerlegen.
• Die Reihenfolge gehört in jeden Test. Dieselbe Frage mit gemischten Optionen mehrfach stellen – wenn sich die Antwort ändert, ist das Ergebnis nicht verlässlich. Das ist genau das metamorphe Testen aus dem ersten Teil, angewendet auf Listen.

Die Grenzen unseres Experiments

Auch hier gilt: ein Modell (Version 19), ein Spiel, drei Partien. Die Spielsituationen stammen aus Partien, die das Modell selbst gespielt hat; eine andere Strategie hätte andere Situationen erzeugt. Kniffel ist ein kontrollierter Prüfstand, kein Abbild typischer Agenten-Entscheidungen. Und ob der Positionseffekt bei anderen Modellen, Aufgaben oder der neueren Version 21 genauso auftritt, haben wir nicht untersucht.

Wie geht es weiter?

Damit stand eine neue Frage im Raum: Wenn ein allgemeines Modell in einem Fachgebiet schwach und zugleich von der Reihenfolge abhängig entscheidet – kann man ihm dann beides beibringen? Bessere Entscheidungen und weniger Abhängigkeit von der Liste? Im dritten Teil trainieren wir das Modell gezielt nach – und zeigen, was das gekostet hat.

Den Anfang der Serie finden Sie in Framing-Effekt bei KI: Unser Entscheidungsmodell im Kahneman-Test.

Sie setzen KI-Agenten ein, die aus Listen wählen – Werkzeuge, Kategorien, nächste Schritte? Wir helfen, solche Entscheidungen robust zu testen. Mehr unter KI-Agenten für Unternehmen oder sprechen Sie uns direkt an.

Quellen: Tom Verhoeff – Solitaire Yahtzee Rules (TU Eindhoven) · Tom Verhoeff – Optimal Solitaire Yahtzee: Trivia (erwarteter Endstand 254,5896) · Hugging Face – Strands Decider 2B (Version 19)