GitHub Copilot und Token Caching: Wie Teams AI Credits sparen

Als wir über das neue nutzungsbasierte Abrechnungsmodell von GitHub Copilot geschrieben haben, stand vor allem die große Umstellung im Vordergrund: AI Credits statt pauschaler Premium Requests. Inzwischen wird klar, wo einer der wichtigsten Praxishebel liegt: beim Token Caching.

Das Thema ist gerade besonders relevant, weil GitHub und das VS-Code-Team in den letzten Monaten sichtbar an der Token-Effizienz agentischer Sessions gearbeitet haben. Für Unternehmen ist das keine technische Randnotiz. Wer Copilot intensiv nutzt, kann über gutes Cache-Verhalten ganz konkret Kosten, Latenz und nutzbares Kontextfenster beeinflussen.

Wichtig vorweg: Eine verbreitete Annahme ist zu ungenau - nämlich, dass man für den Cache einfach in derselben LLM-Familie bleiben müsse und innerhalb dieser Familie beliebig wechseln könne. Für GitHub Copilot gilt das so nicht. Laut aktueller GitHub-Dokumentation invalidiert ein Modellwechsel mitten in der Session den Cache, weil ein anderes Modell den Cache des vorherigen Modells nicht wiederverwenden kann.

Die präzisere Praxisregel lautet deshalb: Wenn Sie den Cache erhalten wollen, bleiben Sie in einer laufenden Session beim gleichen Modell. Wenn ein Modellwechsel sinnvoll ist, dann möglichst an einer natürlichen Grenze - also in einer neuen Session oder nach einem gezielten /compact im Copilot CLI.

Warum Token Caching plötzlich so wichtig ist

Seit Copilot nach tatsächlichem Token-Verbrauch abrechnet, zählt nicht mehr nur, dass ein Modell genutzt wird, sondern wie viel Kontext immer wieder neu verarbeitet werden muss. Genau hier setzt Caching an: Wiederkehrende Teile einer Session - zum Beispiel Systemanweisungen, Tool-Definitionen, Repository-Kontext oder der bisherige Gesprächsverlauf - müssen dann nicht jedes Mal vollständig neu berechnet werden.

GitHub formuliert das inzwischen sehr deutlich: In agentischen Coding-Sessions werden cached tokens typischerweise nur mit etwa 10 Prozent des normalen Input-Preises berechnet. Das ist ein erheblicher Unterschied - gerade bei längeren Sessions mit großem Kontext.

Der wirtschaftliche Hebel ist also klar: Je stabiler der wiederverwendbare Prompt-Präfix bleibt, desto günstiger und oft auch schneller wird die Sitzung.

Was GitHub aktuell konkret verbessert

Besonders aufschlussreich ist ein aktueller Engineering-Beitrag aus dem VS-Code-Team vom Juni 2026. Dort beschreibt GitHub sehr konkret, wie an der Token-Effizienz gearbeitet wird. Drei Punkte sind besonders relevant:

  1. Extended prompt caching für unterstützte OpenAI-Modelle: Der Cache kann in geeigneten Szenarien deutlich länger warmgehalten werden.
  2. Tool search: Tool-Definitionen werden nicht mehr immer komplett in den Kontext geladen, sondern bedarfsgesteuert.
  3. Weniger Overhead pro Turn: Das reduziert sowohl Token-Verbrauch als auch Latenz.

GitHub berichtet dabei von klar messbaren Verbesserungen. Bei GPT-5.4 und GPT-5.5 sank der mediane Tokenverbrauch pro Turn durch Tool Search in Experimenten um rund 9 bis 10 Prozent. Bei längeren Pausen zwischen Anfragen stieg die Cache-Hitrate für unterstützte OpenAI-Modelle durch verlängerte Cache-Retention teils sehr deutlich.

Das ist eine frühe, aber wichtige Entwicklung: Copilot wird nicht nur leistungsfähiger, sondern auch kostensensibler optimiert. Gerade im deutschsprachigen Raum wird über diesen Zusammenhang zwischen Caching und AI-Credits bislang noch erstaunlich wenig gesprochen.

Die entscheidende Präzisierung zur Modellwahl

Der wichtigste Praxispunkt lautet: Nicht die Modellfamilie schützt den Cache, sondern die Stabilität der laufenden Session.

GitHub schreibt ausdrücklich, dass ein Modellwechsel mid-session den Cache zerstört. Dasselbe Muster findet sich auch in aktueller Dokumentation anderer Anbieter: Caches hängen an einem exakten Modellkontext und an einem exakten wiederverwendbaren Präfix, nicht einfach an einer groben Modellverwandtschaft.

Für Teams bedeutet das:

Gerade dieser letzte Punkt ist wichtig: Wer flexibel bleiben will, muss nicht zwangsläufig manuell am Modell drehen. In vielen Fällen ist Auto die vernünftigere und zugleich cache-schonendere Wahl.

Was den Cache außer Modellwechseln noch kaputt macht

Auch das ist für die Praxis entscheidend: Nicht nur der Modellwechsel kostet Cache. GitHub nennt weitere typische Ursachen für Cache-Verluste:

Die praktische Konsequenz ist simpel: Konfiguration möglichst zu Beginn festziehen und dann stabil lassen. Wer mitten in der Aufgabe Modelle, Effort-Level oder Toolsets umstellt, erzeugt leichter unnötige Rebuild-Kosten.

Unser Praxistipp für Unternehmen

Wenn Sie Copilot wirtschaftlich nutzen wollen, ist die Cache-Regel erstaunlich einfach:

  1. Für eine laufende Aufgabe möglichst beim gleichen Modell bleiben.
  2. Modellwechsel nur an natürlichen Übergängen machen - neue Session oder /compact.
  3. Reasoning, Toolsets und MCP-Konfiguration nicht dauernd während derselben Session ändern.
  4. Nach längeren Pausen lieber bewusst neu starten oder komprimieren, statt einen riesigen alten Verlauf teuer wieder aufzubauen.
  5. Auto Model Selection prüfen, wenn Teams zwischen Effizienz und Qualität balancieren müssen.

Kurz gesagt: Man sollte alles tun, um den Cache aufrechtzuerhalten - aber nicht, indem man nur in derselben Modellfamilie bleibt. Entscheidend ist, in der laufenden Session beim gleichen Modell und einer stabilen Konfiguration zu bleiben.

Unser Fazit

Mit dem neuen Copilot-Billing wird Token Caching vom technischen Detail zum Kostenfaktor. Wer agentische Sessions skaliert, sollte deshalb nicht nur auf Modellpreise schauen, sondern auch darauf, wie oft teurer Kontext unnötig neu aufgebaut wird.

Die gute Nachricht: GitHub arbeitet sichtbar an genau diesem Hebel. Die weniger gute Nachricht: Falsche Annahmen über Modellwechsel können diese Einsparungen schnell wieder auffressen.

Für Unternehmen, die Copilot gezielt und wirtschaftlich einsetzen wollen, ist die Schlussfolgerung klar: Cache erhalten heißt Kosten senken. Und das gelingt am zuverlässigsten mit stabilen Sessions, klaren Phasenwechseln und möglichst wenig unnötigen Änderungen mitten im Arbeitsfluss.

Wenn Sie Copilot, Caching, MCP und agentische Workflows in Ihrem Unternehmen strukturiert umsetzen möchten, finden Sie mehr dazu auf unserer Seite KI-Agenten für Unternehmen.

Quellen

Sie möchten GitHub Copilot strukturiert und wirtschaftlich in Ihrem Team einsetzen? Wie wir Unternehmen bei Einführung, Governance und Kostenkontrolle unterstützen, zeigt unsere Leistungsseite GitHub Copilot im Unternehmen.