Teil 1 von 3 unserer Serie über eigene Experimente mit Entscheidungsmodellen.

Wir haben es ausprobiert

In unserem Beitrag Decisions API: 2B or not 2B? haben wir eine neue Modellklasse vorgestellt: kleine Entscheidungsmodelle, die aus festen Antworten wählen und zu jeder Antwort eine Wahrscheinlichkeit liefern. Unser Fazit damals: Eine ausgegebene Wahrscheinlichkeit ist keine Garantie, man sollte sie mit eigenen Beispielen prüfen.

Genau das haben wir getan. In den vergangenen Experimenten haben wir uns intensiv mit dem quelloffenen Strands Decider 2B von AWS beschäftigt, ihn lokal auf eigener Hardware betrieben und sein Verhalten unter verschiedenen Bedingungen untersucht. Dabei haben wir schnell gemerkt, dass es nicht nur darum geht, welche Antwort ein Entscheidungsmodell auswählt, sondern auch darum, wie stabil seine Wahrscheinlichkeiten sind und wie stark Darstellung und Reihenfolge das Ergebnis beeinflussen können. In dieser dreiteiligen Serie berichten wir, was dabei herauskam. Der erste Teil beginnt mit einer einfachen Frage: Ändert sich die Antwort des Modells, wenn man dasselbe Problem nur anders aufschreibt?

Ein Klassiker der Psychologie als Testfall

Als Testfall haben wir bewusst einen Klassiker gewählt. 1981 legten Amos Tversky und Daniel Kahneman Versuchspersonen eine Entscheidung vor: Eine Krankheit bedroht 600 Menschen. Programm A rettet sicher 200. Programm B rettet mit einer Wahrscheinlichkeit von einem Drittel alle 600 und mit zwei Dritteln niemanden. Beide Programme haben denselben Erwartungswert.

Das berühmte Ergebnis: Formuliert als „gerettet", wählten 72 % die sichere Option. Formuliert als „sterben", wählten nur 22 % die sichere Option – obwohl sich am Problem nichts geändert hatte. Dieser Framing-Effekt ist einer der bekanntesten Befunde der Entscheidungspsychologie.

Wir haben das Szenario in die Fertigung übertragen: Ein Produktionsfehler betrifft 2.100 Bauteile. Verfahren A rettet sicher 700 davon. Verfahren B rettet mit einem Drittel Wahrscheinlichkeit alle 2.100 und mit zwei Dritteln keines. Im Erwartungswert sind das bei beiden Verfahren 700 Bauteile. Dieses Problem haben wir dem Modell in verschiedenen, mathematisch gleichwertigen Fassungen vorgelegt:

Dazu kamen Varianten, die am Inhalt erst recht nichts ändern: andere Buchstaben für die Verfahren, eine andere Reihenfolge der Antwortoptionen und eine andere Reihenfolge der beiden Absätze im Text. Gemessen haben wir jeweils, mit welcher Wahrscheinlichkeit das Modell die sichere Option wählt.

Das Ergebnis: Auch beim Modell wirkt die Formulierung

Balkendiagramm: Wahrscheinlichkeit für die sichere Option je Formulierung – Referenz 72,3 %, Antwortoptionen vertauscht 71,3 %, Buchstaben vertauscht 78,5 %, als Gewinn formuliert 79,5 %, als Verlust formuliert 58,3 %, Absätze im Text vertauscht 42,8 %; nur bei vertauschten Absätzen fällt der Wert unter die Entscheidungsgrenze von 50 %

Die Formulierung verschiebt die Wahrscheinlichkeit deutlich. Als Gewinn formuliert lag die Wahrscheinlichkeit für die sichere Option bei 79,5 %, als Verlust formuliert nur bei 58,3 %. Die Richtung der Verschiebung entspricht dem Muster, das Tversky und Kahneman bei Menschen beobachtet haben: Im Verlust-Rahmen wird das Risiko attraktiver. Anders als die Menschen im Originalversuch blieb das Modell aber bei der sicheren Option – es wurde nur deutlich unsicherer.

Schon andere Buchstaben verändern die Ausgabe. Allein dadurch, dass das sichere Verfahren „B" statt „A" hieß, stieg die Wahrscheinlichkeit von 72,3 % auf 78,5 %. Über verschiedene Buchstabenpaare hinweg schwankte sie um bis zu 9 Prozentpunkte, ohne erkennbares Muster.

Die Reihenfolge im Text verändert am meisten. Als wir nur die beiden Absätze mit den Verfahren vertauschten – erst das riskante, dann das sichere –, fiel die Wahrscheinlichkeit von 72,3 % auf 42,8 %. Das Modell entschied sich damit für die riskante Option. Kein Wort war verändert, nur die Reihenfolge zweier Absätze.

Die Reihenfolge der Antwortoptionen veränderte dagegen kaum etwas. Ob in der Anfrage zuerst „A" oder zuerst „B" stand, änderte die Wahrscheinlichkeit meist nur um rund einen, höchstens um gut drei Prozentpunkte.

Eine gute Nachricht gab es auch: Das Modell war vollständig reproduzierbar. Dieselbe Eingabe lieferte bei jeder Wiederholung exakt dieselbe Wahrscheinlichkeit. Die Schwankungen kommen also nicht vom Zufall, sondern allein von der Darstellung.

Was das für die Praxis bedeutet

In unserem ersten Artikel haben wir gezeigt, wie man aus den Wahrscheinlichkeiten eines Entscheidungsmodells eine Schwelle ableitet: Darüber handelt der Agent automatisch, darunter entscheidet ein Mensch. Unser Experiment zeigt, warum diese Schwelle getestet werden muss.

Gleicher Gewinner heißt nicht gleiche Sicherheit. In fast allen Varianten wählte das Modell die sichere Option. Wer nur prüft, ob die Antwort stimmt, hätte nichts bemerkt. Die Wahrscheinlichkeit aber schwankte zwischen rund 58 und 82 %. Bei einer Schwelle von 70 % hätte der Agent dieselbe Entscheidung mal automatisch getroffen und mal an einen Menschen weitergegeben – je nachdem, wie der Text formuliert war. Bei Routing, Eskalation oder automatischen Freigaben kann aus einer solchen Wahrscheinlichkeitsverschiebung unmittelbar ein anderer Prozesspfad entstehen.

Kleine Änderungen können die Entscheidung kippen. Das Vertauschen zweier Absätze genügte, um die Entscheidung umzudrehen. In der Praxis entstehen solche Unterschiede ständig: Ein Kunde schildert zuerst das Problem, ein anderer zuerst den Wunsch. Eine Vorlage wird umgebaut. Ein vorgelagertes System sortiert Daten anders.

Testen lässt sich das auch ohne „richtige Antwort". Bei vielen Entscheidungen gibt es kein eindeutig richtiges Ergebnis – auch in unserem Beispiel sind beide Verfahren gleich gut. Man kann aber prüfen, ob sich die Antwort ändert, wenn sich am Inhalt nichts ändert. Dieses Vorgehen heißt in der Softwareentwicklung metamorphes Testen: Man formuliert dieselbe Eingabe mehrfach um, vertauscht Reihenfolgen und Bezeichnungen und misst, wie stabil die Ausgabe bleibt. Für jeden produktiven Einsatz eines Entscheidungsmodells ist das eine sinnvolle Pflichtübung.

Die Grenzen unseres Experiments

Wir wollen den Befund nicht größer machen, als er ist. Getestet haben wir ein Modell (Strands Decider 2B in Version 19), ein Szenario und englische Texte, mit insgesamt 80 Modellaufrufen auf einem lokalen Rechner. Die Experimente bauten aufeinander auf; jedes neue reagierte auf eine Beobachtung des vorherigen. Ob sich die Effekte auf andere Modelle, Szenarien oder die inzwischen erschienene Version 21 übertragen, ist offen. Und ob hinter dem Framing-Effekt beim Modell etwas Ähnliches steckt wie beim Menschen, lässt sich daraus nicht ableiten – sichtbar ist nur, dass die Darstellung die Wahrscheinlichkeiten verschiebt.

Wie geht es weiter?

Ein einzelnes Szenario ist ein Anfang. Im zweiten Teil dieser Serie lassen wir das Modell deshalb etwas tun, bei dem es eine objektiv beste Entscheidung gibt und jede Entscheidung Folgen hat: Es spielt Kniffel. Dabei zeigt sich ein Muster, das uns mehr überrascht hat als jeder Framing-Effekt.

Sie möchten Entscheidungsmodelle oder KI-Agenten in Ihre Prozesse einbauen – mit Tests, die solche Effekte vor dem Einsatz sichtbar machen? Mehr zu unserem Angebot finden Sie unter KI-Agenten für Unternehmen. Oder sprechen Sie uns direkt an.

Quellen: Tversky, A. & Kahneman, D. (1981): The Framing of Decisions and the Psychology of Choice. Science 211, 453–458 · Hugging Face – Strands Decider 2B (Version 19) · AWS Strands – Introducing Strands Decider 2B