Was wir Kunden empfehlen, setzen wir zuerst selbst ein: KI-Agenten in der Entwicklung, eigene MCP-Server, Modelle im Test. Hier zeigen wir, welche Grenzen wir ziehen, was wir gemessen haben und wo wir danebenlagen.
Gespräch vereinbaren
Über KI wird viel behauptet. Wir halten es anders: Was wir unseren Kunden empfehlen, setzen wir zuerst selbst ein, messen es und schreiben auf, was dabei herauskommt, auch wenn es nicht schmeichelhaft ist. Auf dieser Seite finden Sie, wie wir mit KI-Agenten arbeiten, welche Grenzen wir ziehen und was wir dabei gemessen haben.
Wir legen nicht für einen Agenten fest, was er darf, sondern für jede Aktion in jedem System. Derselbe Agent darf Zeiten lesen, aber nicht ohne Rückfrage buchen. Drei Fragen entscheiden:
Daraus ergeben sich vier Stufen:
| Stufe | Der Agent … | Beispiel aus unserem Alltag |
|---|---|---|
| Lesen | sucht, liest und fasst zusammen | Monitoring-Daten auswerten, Code durchsuchen |
| Entwurf | bereitet vor, ein Mensch übernimmt | Änderung als Merge-Vorschlag, Inhalt als Entwurf im CMS |
| Ausführen mit Rückfrage | handelt erst nach Bestätigung durch einen Menschen | Zeiten buchen oder löschen |
| Ausführen | erledigt Routine allein | Änderungen, die sich jederzeit zurückholen lassen |
Wo die Grenze liegt, hängt auch von der Software ab. Unser CMS ist versioniert, jede Änderung lässt sich zurücksetzen. Eine gelöschte Buchung in der Zeiterfassung ist dagegen weg. Deshalb fragt unser eigener MCP-Server für die Zeiterfassung vor dem Löschen nach, und zwar direkt beim Menschen am Bildschirm. Wie das technisch funktioniert, beschreibt unser Beitrag MCP Elicitation: Rückfragen, die der KI-Agent nicht sieht.
„Bitte nichts auf main pushen“ ist eine Bitte, keine Grenze. Verlässlich ist nur, was ein System durchsetzt. Deshalb gilt bei uns:
Alle acht Regeln mit Anleitung stehen in KI-Agenten an der eigenen Infrastruktur: So setzen Sie Grenzen.
| Versuch | Ergebnis | Was wir daraus gelernt haben |
|---|---|---|
| Rückfrage vor dem Löschen, getestet in drei Agenten-Clients | In keinem der drei Clients hat der Agent die Rückfrage gesehen; sie ging direkt an den Menschen | Freigaben gehören ins Protokoll, nicht in den Prompt |
| Bericht eines Agenten über drei gelöschte Einträge | Ein Eintrag war noch da, obwohl der Agent Erfolg gemeldet hatte | Schreibaktionen von Agenten prüfen wir unabhängig nach |
| Entscheidungsmodell spielt Kniffel | Optimal in 15 von 114 Entscheidungen. Stand die beste Option vorn, gewann sie in 71 von 78 Fällen, stand sie hinten, in keinem | Wer die Liste sortiert, entscheidet mit (zum Versuch) |
| Training gegen diese Verzerrung mit LoRA | 4,7 Stunden auf einer gemieteten Grafikkarte in Azure, Kosten 3,26 Euro | Kleine Modelle lassen sich gezielt und günstig anpassen (zum Training, zu den Kosten) |
| Gleiche Schnittstelle, neues Modell-Release, 21.636 gespeicherte Anfragen erneut gestellt | Nur 20 % der Kniffel- und 35 % der Tic-Tac-Toe-Entscheidungen blieben gleich | Modellversionen festschreiben und vor jedem Wechsel testen |
Messen heißt auch, sich selbst zu korrigieren. Bei einem Rechentest mit großen Zahlen schien unser Testmodell erstaunlich gut abzuschneiden. Eine Gegenprobe zeigte: Die falschen Antwortoptionen hatten die richtige verraten, das Modell musste gar nicht rechnen. Ohne diese Abkürzung lag es bei 30-stelligen Zahlen auf Münzwurf-Niveau. Wir haben den Test umgebaut und schreiben beides auf, den Fehler und das korrigierte Ergebnis. Genau diese Gegenproben erwarten wir auch von jedem Anbieter, dessen KI wir einsetzen.
Sehen KI-Agenten bei Ihnen Kundendaten? Grundsätzlich nicht. KI-Agenten bekommen bei uns keine Zugangsdaten unserer Kunden und keinen Zugriff auf deren Systeme. Wenn überhaupt, sehen sie technische Angaben wie Seriennummern von Hardware. Auf produktiven Servern laufen bei uns keine Agenten, und in der Softwareentwicklung arbeiten sie in unseren eigenen Git-Instanzen, mit eigenen Konten und nur den Rechten, die für eine Aufgabe nötig sind.
Eine bewusste Ausnahme ist unsere Zeiterfassung: Über einen eigenen MCP-Server liest und bucht ein Agent dort Zeiten und sieht dabei auch Kunden und Projekte, allerdings nur als Kürzel und Kennungen, nicht mit vollem Namen. Vor dem Löschen fragt der Server trotzdem direkt beim Menschen nach.
Welche KI-Modelle setzen Sie ein? Je nach Aufgabe unterschiedliche, von großen Cloud-Modellen bis zu kleinen, lokal betriebenen Modellen. Welches Modell es wird, entscheiden wir nach einem Test mit der konkreten Aufgabe, nicht nach dem Datenblatt.
Können Sie diese Arbeitsweise in unserem Team einführen? Ja. Wir beginnen mit einem klar abgegrenzten Anwendungsfall, legen die Freigabestufen gemeinsam fest und richten Konten, Grenzen und Monitoring ein. Mehr dazu unter KI-Agenten für Unternehmen und MCP-Integrationen.
Ist KI bei Ihnen fehlerfrei? Nein, und das behaupten wir auch nicht. Modelle wählen das Wahrscheinliche, nicht zwingend das Richtige. Deshalb prüfen Menschen, was ein Agent ändert, und deshalb messen wir, statt zu versprechen.
Lauth IT GmbH
Große Düwelstraße 28
30171 Hannover