TL;DR: Wer KI mit eigenen Daten nutzen will, denkt zuerst an Training. Für Fragen an Dokumente ist das fast immer der falsche Weg. Wir haben ein erfundenes Firmenhandbuch mit 38 Fragen auf vier Wegen an ein kleines lokales Modell gegeben: ohne Unterlagen, im Prompt, über eine Suche (RAG) und per Nachtraining (LoRA). Mit Suche kamen bis zu 32 von 34 Antworten richtig, mit Nachtraining 18. Das nachtrainierte Modell beantwortete außerdem jede Frage, deren Antwort gar nicht im Handbuch steht, mit einer erfundenen Angabe. Nach einer Änderung im Handbuch nannte es weiter die alten Werte, die angebundenen Varianten sofort die neuen. Training eignet sich für Verhalten und Format, nicht für Fakten.

Vier Wege, eigene Daten in die KI zu bringen

1. In den Prompt legen: für wenige Seiten. Einfach, aber der Kontext wächst mit jedem Dokument.

2. Über eine Suche anbinden (RAG): für Wissen aus Dokumenten. Mit Quellenangabe, nach jeder Änderung aktuell.

3. Über Schnittstellen anbinden: für Daten, die sich laufend ändern, etwa Zeiterfassung oder Bestand. Live statt Kopie.

4. Nachtrainieren (LoRA): für Verhalten, Format und Entscheidungen. Nicht für Fakten.

Alle vier Wege funktionieren lokal, ohne dass Daten das Haus verlassen.

Was Unternehmen meinen, wenn sie „trainieren“ sagen

Die Wünsche klingen ähnlich: Der Chatbot soll unsere Produkte kennen. Mitarbeiter sollen das Handbuch fragen können, statt es zu durchsuchen. Ein Agent soll wissen, welche Kunden wir haben. Gesucht wird dann nach „KI mit eigenen Daten trainieren“ oder „eigene Daten in die KI füttern“.

Hinter „trainieren“ steckt meist die Vorstellung, man kippe die Daten in das Modell, und danach seien sie drin. Technisch heißt Training aber: Die Gewichte des Modells werden so verschoben, dass bestimmte Antworten wahrscheinlicher werden. Das kostet Rechenzeit, ist danach eingefroren, und kein Mensch kann hinterher nachsehen, aus welchem Dokument eine Antwort stammt.

Für die meisten dieser Wünsche gibt es einen einfacheren Weg: Das Modell bekommt zur Frage die passenden Unterlagen mitgeliefert und antwortet daraus. Ob das stimmt, wollten wir nicht behaupten, sondern messen.

Unser Test: ein Handbuch, 38 Fragen, vier Wege

Als Datengrundlage haben wir ein Mitarbeiterhandbuch für ein frei erfundenes Unternehmen geschrieben, die Beispielwerk GmbH. Sie stellt Frequenzumrichter für Heizungspumpen her, die Baureihe heißt „Taktgeber“. Das Handbuch hat acht Abschnitte: Arbeitszeit und Urlaub, Reisekosten, IT-Sicherheit, Produkte, Garantie, Kundendienst, Freigaben, Gebäude. Alle Werte sind bewusst so gewählt, dass man sie nicht erraten kann: 29 Urlaubstage, 0,34 Euro Kilometergeld, Artikelnummer BW-4420, Sammelplatz B auf dem Parkplatz Nord.

Dazu kommen 38 Fragen:

Die letzten vier messen, wie oft das Modell eine Halluzination liefert: eine Angabe, für die es keine Grundlage gibt. Für ein Sprachmodell ist das kein Fehler im technischen Sinn, sondern die wahrscheinlichste Fortsetzung des Textes. Richtig wäre hier ein Satz wie „Steht nicht im Handbuch“.

Als Modell haben wir Qwen3.5-2B verwendet, ein kleines Sprachmodell mit rund 2 Milliarden Parametern. Es lief lokal auf einem bewusst schwachen Rechner ohne Grafikkarte, immer mit denselben Einstellungen und ohne Zufall bei der Wortwahl. Ein kleines Modell zeigt die Unterschiede zwischen den Wegen deutlicher als ein großes, das vieles überdeckt. Ein Prompt, der das Modell bittet, nur aus den Unterlagen zu antworten und den Abschnitt zu nennen, war bei allen Varianten mit Unterlagen gleich. Getestet im Oktober 2026, mit paperless-ngx 3.3.4, Qwen3.5-2B und multilingual-e5-small.

Das Ergebnis im Überblick

Weg richtig (von 34) Halluzination bei Fragen ohne Antwort (von 4)
Ohne Unterlagen 0 1
Nachtraining auf den Handbuchtext 10 3
Nachtraining auf Frage-Antwort-Paare 18 4
Suche nach Wörtern (BM25) 26 1
Suche nach Bedeutung (Vektorsuche) 28 1
Ganzes Handbuch im Prompt 31 1
Suche nach Wortteilen plus Glossar 32 1

Ohne Unterlagen antwortete das Modell bei den meisten Fragen mit „Weiß ich nicht“, sonst mit allgemeinen Werten: 8 Zeichen für Passwörter, 30 Tage Rückgabe, 2 Jahre Garantie. Das ist der Normalfall, wenn man einem Modell Fragen zu einer Firma stellt, die es nicht kennt.

Die eine Halluzination, die bei allen Varianten der Tabelle mit Unterlagen bleibt, betrifft die Kantine: „Das Werk hat keine Kantine.“ Im Handbuch steht nichts über eine Kantine. Das Modell hat aus dem Fehlen einer Angabe eine Tatsache gemacht.

Eine Einschränkung vorweg: Acht Abschnitte sind zu wenig, um Suchverfahren seriös gegeneinander zu ranken. Aussagekräftig sind die Muster, nicht die einzelne Zahl.

Weg 1: Einfach alles in den Prompt

Der naheliegendste Weg: Man legt das ganze Handbuch vor die Frage. Bei uns brachte das 31 von 34 richtigen Antworten, ohne jede Suche.

Der Haken zeigt sich bei der Quellenangabe und bei der Menge. Den richtigen Abschnitt nannte das Modell nur bei 17 von 31 richtigen Antworten, mit Suche bei bis zu 29 von 33. Und bei jeder Frage geht das komplette Handbuch ins Modell: rund 1.170 Token (Wortstücke) statt rund 380 bei der Suche. Bei acht Abschnitten ist das kein Problem. Bei 800 Seiten Handbuch passt es nicht mehr in den Kontext, und jede Frage kostet Rechenzeit für Text, der mit ihr nichts zu tun hat.

Wann es passt: Wenige, kurze Dokumente, die sich selten ändern. Eine Preisliste, ein Leitfaden, eine Vorlage für den Hausstil.

Weg 2: Anbinden über eine Suche (RAG)

RAG steht für Retrieval-Augmented Generation. Das Prinzip in drei Sätzen: Die Dokumente werden in Abschnitte zerlegt und durchsuchbar gemacht. Zu jeder Frage sucht ein Suchverfahren die passenden Abschnitte heraus. Das Modell bekommt nur diese Abschnitte und antwortet daraus, mit Quellenangabe.

flowchart LR
    F["Frage"] --> S["Suche<br/>im Index"]
    D["Dokumente"] --> I["Index"] --> S
    S --> K["2 passende<br/>Abschnitte"] --> M["Sprachmodell"] --> A["Antwort<br/>mit Quelle"]
    style S stroke:#cc171a,stroke-width:2.5px

Die Suche entscheidet, nicht das Modell

Unser erster RAG-Versuch scheiterte schon an der ersten Frage: „Wie viele Urlaubstage bekommt eine Vollzeitkraft bei der Beispielwerk GmbH?“ Die Wortsuche gewichtete „Beispielwerk GmbH“ höher als „Urlaubstage“, weil der Firmenname in anderen Abschnitten öfter vorkommt, und „Vollzeitkraft“ steht so nicht im Handbuch („Vollzeitbeschäftigte“). Das Modell bekam die falschen Abschnitte und antwortete korrekt „keine Informationen“. Korrekt und trotzdem nutzlos.

Bei RAG liegt die Qualität zuerst in der Suche. Wir haben deshalb mehrere Verfahren verglichen:

Firmensprache gehört in ein Glossar

Im Betrieb fragt niemand nach dem „Frequenzumrichter Taktgeber XL“. Man fragt nach dem „Dicken“. Kein Suchverfahren kann aus dem Text ableiten, dass beides dasselbe ist. Wir haben deshalb ein kleines Glossar angelegt: „FU, Umrichter → Frequenzumrichter“, „der Dicke → Taktgeber XL“, „Spritgeld → Kilometergeld“, „Büro → Verwaltung“. Passende Fachbegriffe werden vor der Suche an die Frage angehängt.

Mit Glossar stieg die Suche nach Wortteilen auf 32 von 34, das beste Ergebnis des Tests. Bei den 11 Fragen in Umgangssprache und mit Tippfehlern lieferte die Suche mit Glossar deutlich öfter den richtigen Abschnitt: die Wortsuche 10 statt 6 Mal, die Suche nach Wortteilen alle 11 statt 9.

Die naheliegende Alternative haben wir auch getestet: das Modell die Frage vor der Suche in sauberes Hochdeutsch umschreiben lassen. Das kostet einen zusätzlichen Modellaufruf pro Frage, brachte bei uns höchstens eine richtige Antwort mehr und konnte auch schaden. Aus „Welcher FU hat LAN?“ wurde „Welcher Fachhochschule verfügt über ein LAN?“. Ohne Glossar kann das Modell den Firmenjargon nicht auflösen und setzt die wahrscheinlichste Bedeutung ein. Firmenwissen gehört in ein Glossar, das jemand pflegt, nicht in die Vermutung eines Modells.

Der richtige Abschnitt reicht nicht immer

Auch mit perfekter Suche bleiben Fehler beim Lesen. Auf „Was kostet der Dicke?“ antwortete das Modell mit Glossar: „Der Dicke kostet 389 Euro, da er Teil der Baureihe Taktgeber XL ist, die im Handbuch als Produkt mit Artikelnummer BW-4475 und Listenpreis von 1.148 Euro verzeichnet wird.“ Der richtige Preis steht im Nebensatz, vorn steht der Preis aus der Zeile darüber. Bei der Summe „Taktgeber S plus zwei Fühlerkabel“ rechnete eine Variante „389 + 34 + 34 = 1.027 Euro“. Ein Sprachmodell rechnet nicht, es setzt die wahrscheinlichste Zahl ein. Wofür sich deshalb ein Algorithmus besser eignet, beschreiben wir in Deterministisch oder probabilistisch: Wann KI, wann Algorithmus?

Und ein fertiges Produkt?

Nicht jeder will eine Suche selbst bauen. Viele Dokumentenmanagement-Systeme bringen inzwischen eine KI-Suche mit. Wir haben das mit paperless-ngx in Version 3.3.4 getestet, das wir auch für die Texterkennung gescannter Dokumente nutzen. Dafür haben wir das Handbuch so verteilt, wie Wissen in Firmen tatsächlich herumliegt: zwei eingescannte Aushänge, zwei E-Mails, zwei Word-Dokumente, eine Excel-Preisliste und ein PDF. Die Texterkennung hat alle Werte fehlerfrei übernommen. Die Fragen gingen an den eingebauten Dokumenten-Chat, mit demselben Sprachmodell wie oben.

Ergebnis: 29 von 34 richtig, also etwa auf dem Niveau unserer einfachen Vektorsuche, die auch paperless intern verwendet. Bei den Fragen in Umgangssprache antwortete es meist mit „keine Informationen“. Einen Rechenfehler gab es auch hier: Taktgeber S plus zwei Fühlerkabel ergab 423 Euro, das Kabel war nur einmal gezählt.

Lehrreich war der zweite Durchgang: Wir haben das Glossar als zusätzliches Dokument in paperless abgelegt. Das Ergebnis wurde schlechter, 27 von 34. Die Suche holte das Glossar bei der Hälfte der Fragen mit in den Kontext, und daraus entstanden neue Fehler wie „Der Dicke kostet 0,34 Euro pro Kilometer“. Entscheidend ist also nicht, dass ein Glossar existiert, sondern an welcher Stelle es in die Suche eingreift.

Das ist kein Urteil über paperless-ngx: Wir haben ein sehr kleines Modell und die Standardeinstellungen verwendet. Es zeigt aber, dass auch ein fertiges Produkt mit KI-Suche ohne Anpassung an die eigene Firmensprache nicht weiter kommt als eine einfache Suche.

Wann RAG passt: Fragen an Handbücher, Richtlinien, Produktdaten, Verträge, Tickethistorien. Überall dort, wo die Antwort in einem Dokument steht und man nachsehen können will, in welchem.

Weg 3: Anbinden über Schnittstellen

Manche Daten stehen in keinem Dokument, sondern in einem System, und sie ändern sich ständig: gebuchte Stunden, offene Tickets, Lagerbestand. Eine Kopie davon wäre schon am Nachmittag veraltet. Hier fragt der KI-Agent das System direkt über eine Schnittstelle ab.

Wir machen das zum Beispiel mit unserer Zeiterfassung Kimai. Dafür haben wir einen eigenen MCP-Server geschrieben, über den unsere Agenten Zeiten abfragen und buchen können, mit Rückfrage vor jeder Buchung. Wie so ein Server entsteht, beschreiben wir in Eigene MCP-Server mit .NET entwickeln, was Unternehmen dabei regeln sollten, auf unserer Seite zu MCP-Integrationen.

Der wichtigste Unterschied zu den Dokumenten: Eine Schnittstelle kann auch schreiben. Deshalb bekommt der Agent eigene Zugangsdaten mit genau den Rechten, die er braucht, und nicht mehr. Wie wir solche Grenzen setzen, steht in KI-Agenten an der eigenen Infrastruktur: So setzen Sie Grenzen.

Wann Schnittstellen passen: Live-Daten aus Zeiterfassung, Warenwirtschaft, Ticketsystem, CRM. Alles, was sich schneller ändert, als man einen Index neu bauen möchte.

Weg 4: Nachtrainieren (LoRA)

LoRA ist ein sparsames Verfahren, um ein vorhandenes Modell nachzutrainieren: Statt aller Gewichte wird nur eine kleine Zusatzschicht angepasst. Wir haben zwei Varianten probiert, wie sie Unternehmen typischerweise versuchen:

Das eigentliche Problem zeigte sich bei den Fragen ohne Antwort. Das Frage-Antwort-Modell hat alle vier beantwortet, jede mit einer Halluzination: Weihnachtsgeld 2.145 Euro, Schutzart IP67, 4 Tage Homeoffice und „Kantine B auf dem Parkplatz Nord“, zusammengesetzt aus dem Sammelplatz B. Das Training hat dem Modell beigebracht, wie eine Antwort auf eine Firmenfrage aussieht. Nachschlagen kann es danach trotzdem nicht.

Bei der Fallstrick-Frage nach der 4-kW-Pumpe antworteten alle Varianten mit Unterlagen richtig, paperless eingeschlossen: „Nein, maximal 2,2 kW.“ Das Frage-Antwort-Modell erfand eine Grenze: „nur Pumpen mit einer Leistung bis 3,1 kW“.

Was passiert, wenn sich das Handbuch ändert?

Daten bleiben nicht stehen. Wir haben deshalb im Handbuch vier Werte geändert: 31 statt 29 Urlaubstage, 0,38 statt 0,34 Euro Kilometergeld, 1.229 statt 1.148 Euro für den Taktgeber XL, Sammelplatz D statt B. Danach haben wir nur den Suchindex neu gebaut, was in unter einer Minute erledigt war. Bei paperless haben wir die vier Dokumente durch neue Fassungen ersetzt. Dann kamen sieben Fragen zu den geänderten Werten.

Weg neuer Wert (von 7) alter Wert (von 7)
Ganzes Handbuch im Prompt 6 0
Suche nach Wortteilen plus Glossar 6 0
Vektorsuche 5 0
paperless-ngx mit Glossar 7 0
Nachtraining Frage-Antwort 0 5
Nachtraining Handbuchtext 0 1

Keine Variante mit angebundenen Unterlagen hat einen alten Wert genannt. Das nachtrainierte Modell formulierte seine Antworten genauso bestimmt wie vorher: „Vollzeitbeschäftigte erhalten 29 Urlaubstage im Kalenderjahr.“ Der Satz war gestern richtig. Heute ist er falsch, und der Antwort sieht man das nicht an. Ändern lässt sich das nur durch ein neues Training, bei jeder Änderung.

Wofür sich Training trotzdem lohnt

Training ist nicht nutzlos, es löst nur ein anderes Problem. In einem früheren Experiment haben wir ein Modell per LoRA auf Kniffel-Entscheidungen trainiert: Statt 15 trafen danach 90 von 114 Entscheidungen das Optimum (LoRA-Training gegen Positionsbias). Das Training lief auf einer gemieteten Grafikkarte und kostete 3,26 Euro (Serverless GPU in Azure). Dort ging es nicht um Fakten, sondern um ein Verhalten: aus einer festen Liste die beste Option wählen.

Wann Training passt: festes Antwortformat, eigene Fachsprache im Ausdruck, wiederkehrende Entscheidungen, ein kleines Modell, das eine eng umrissene Aufgabe so gut erledigen soll wie ein großes. Die Fakten kommen dann trotzdem über die Suche dazu.

Was kostet ein Fehler?

Bleibt die Frage, wie viele Fehler akzeptabel sind. Darauf gibt es keine allgemeine Prozentzahl. Die bessere Frage lautet: Was kostet ein Fehler an genau dieser Stelle?

Dokument Mögliche Halluzination Folge
Mitarbeiterhandbuch „Das Werk hat keine Kantine.“ Jemand bringt unnötig sein Essen mit.
Produktdaten „Der Taktgeber M verträgt 4 kW.“ Ein Gerät wird überlastet, ein Garantiefall entsteht.
Server-Runbook Falscher Parameter im Wiederherstellungsbefehl Die falsche Platte wird überschrieben.
Firewall-Dokumentation „Port 3389 ist nur intern erreichbar.“ Eine Lücke bleibt offen.

Dazu kommen Bereiche wie Verträge, Recht und Medizin, in denen eine falsche Angabe Haftungsfragen auslöst. Daraus ergibt sich die Bauweise:

Dasselbe Prinzip gilt für gescannte Dokumente: Dort hat ein Sprachmodell in unserem Test ein „nicht“ aus einer Vertragsklausel gestrichen (OCR mit KI).

Die Entscheidungshilfe

flowchart LR
    Z["Was soll die<br/>KI können?"] --> Q{"Art der<br/>Daten"}
    Q -->|"wenige Seiten,<br/>selten geändert"| P["Prompt"]
    Q -->|"viele Dokumente"| R["RAG mit<br/>Quellenangabe"]
    Q -->|"Live-Daten<br/>aus Systemen"| S["Schnittstelle,<br/>z. B. MCP"]
    Q -->|"Verhalten,<br/>Format"| L["LoRA"]
    R --> G["Glossar für<br/>Firmensprache"]
    style R stroke:#cc171a,stroke-width:2.5px
Ihr Ziel Weg
Mitarbeiter fragen das Handbuch, die Richtlinien, die Produktdokumentation RAG mit Quellenangabe und Glossar
Der Agent kennt aktuelle Zeiten, Tickets, Bestände Schnittstelle, z. B. ein MCP-Server
Antworten im Hausstil, mit fester Gliederung Prompt mit Vorlage, bei Bedarf LoRA
Belege, Anfragen oder Fälle einordnen LoRA oder klassisches maschinelles Lernen, siehe Decisions API: Entscheidungsmodelle für KI-Agenten
Gescannte Ablage erschließen erst Texterkennung, dann RAG

Welcher Weg passt zu Ihren Daten?

Wir ordnen Ihre Anwendungsfälle mit Ihnen den vier Wegen zu und testen an Ihren eigenen Dokumenten und Fragen. Wo Daten aus Systemen kommen, bauen wir eine feste Schnittstelle, statt die Werte einem Modell zu überlassen.

Sprechen Sie uns an

Datenschutz: keine Daten raus

Alle vier Wege funktionieren vollständig im eigenen Netz. Unser gesamter Test lief auf einem einzelnen Rechner im eigenen Netz: Handbuch, Suchindex, Sprachmodell und paperless. Keine Frage und keine Zeile aus dem Handbuch ging an einen externen Dienst.

Das heißt nicht, dass die KI von der Außenwelt abgeschnitten sein muss. Eine Websuche lässt sich anbinden, ohne interne Dokumente nach außen zu geben. Unser Grundsatz lautet: keine Daten raus, nicht keine Daten rein. Mehr dazu auf unserer Seite zu lokaler KI für Unternehmen. Welche Hardware ein größeres Modell braucht, steht in Lokale Sprachmodelle im Unternehmen: welche Hardware reicht?

Eine Einschränkung gehört dazu: Wir haben ein sehr kleines Modell auf minimaler Hardware getestet. Größere Modelle machen wahrscheinlich weniger Lesefehler, etwa bei „der Dicke kostet 389 Euro“. Die Grundmuster bleiben aber: Ohne Unterlagen kennt kein Modell Ihre Urlaubsregelung, und ein trainiertes Modell nennt nach einer Änderung weiter die alten Werte.

Häufige Fragen

Muss ich ein eigenes Modell trainieren, damit die KI unsere Dokumente kennt? Nein, in den meisten Fällen nicht. Für Fragen an Dokumente ist eine Suche mit Quellenangabe (RAG) besser: In unserem Test kamen damit bis zu 32 von 34 Antworten richtig, mit Nachtraining 18. Und nach einer Änderung im Dokument stimmte die Antwort sofort.

Lernt ChatGPT aus meinen Daten? Das hängt vom Abo und den Einstellungen ab. Bei privaten Abos dürfen Anbieter die Inhalte in der Regel zum Training nutzen, sofern man das nicht in den Einstellungen abschaltet. Bei Geschäftsabos mit Vertrag zur Auftragsverarbeitung ist das meist ausgeschlossen. Einen Überblick über die Abos und ihre Verträge zur Auftragsverarbeitung gibt KI-Abos und DSGVO.

Wie aktuell sind die Antworten? Bei RAG so aktuell wie der Suchindex. Den kann man nachts neu bauen oder bei jeder Dokumentänderung aktualisieren. Bei einem nachtrainierten Modell so aktuell wie das letzte Training.

Was kostet das? Die Kosten hängen weniger an der KI als an den Daten: Wie viele Dokumente gibt es, in welchen Formaten, wie oft ändern sie sich, und wie viel Firmensprache steckt darin? Ein Glossar zu pflegen ist Arbeit, die kein Modell abnimmt. Für den Betrieb kommt die Hardware dazu oder ein Cloud-Dienst mit passendem Vertrag.

Funktioniert das auch mit gescannten Dokumenten? Ja, wenn die Texterkennung stimmt. Was eine Texterkennung falsch liest, findet keine Suche und beantwortet kein Modell richtig. Wie gut das mit freier Software gelingt, haben wir in OCR mit KI gemessen.

Fazit

„Trainieren“ ist fast immer das falsche Wort. Training ändert, wie ein Modell antwortet, nicht zuverlässig, welche Fakten es wiedergibt. In unserem Test hat das nachtrainierte Modell bei jeder Frage ohne Antwort eine Halluzination geliefert und nach einer Änderung im Handbuch die alten Werte genannt, ohne jeden Hinweis auf Unsicherheit.

Für Wissen aus Dokumenten bindet man die Daten an: Suche, Kontext, Quellenangabe. Die Qualität entsteht dabei vor allem in der Suche, und die braucht die Sprache des eigenen Betriebs, nicht nur die des Handbuchs. Für Daten aus Systemen nimmt man eine Schnittstelle. Training lohnt sich für Verhalten, Format und Entscheidungen.

Sie möchten Ihre Dokumente für Mitarbeiter oder Agenten erschließen, lokal und mit Quellenangabe? Mehr zu lokaler KI für Unternehmen, oder sprechen Sie uns direkt an.


Quellen: Qwen3.5-2B (Hugging Face) · multilingual-e5-small (Hugging Face) · paperless-ngx (Dokumentation) · LoRA: Low-Rank Adaptation of Large Language Models (arXiv) · Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv)