Sie haben gestern eine Stunde damit verbracht, Ihrem KI-Assistenten
Ihr Produkt zu erklären, Ihre Terminologie beizubringen und ihm die drei
Regeln zu geben, nach denen Ihre Dokumentation aufgebaut ist. Heute
öffnen Sie ein neues Gespräch, und die KI fragt Sie, wofür die Abkürzung
steht, die Sie gestern zwanzig Mal verwendet haben. Sie fangen wieder
von vorne an.
Dieses Verhalten hat einen technischen Grund, und es betrifft
praktisch alle heutigen KI-Assistenten, ob Claude, ChatGPT, Microsoft
Copilot oder Google Gemini. Ein Bedienfehler steckt nicht dahinter. Das
fehlende KI-Gedächtnis kostet in Summe mehr, als die meisten Unternehmen
ahnen.
Warum die KI nichts behält
Ein großes Sprachmodell ist zustandslos. Das heißt: Es speichert
zwischen zwei Anfragen nichts. Jede einzelne Antwort entsteht
ausschließlich aus dem Text, der dem Modell in genau diesem Moment
mitgegeben wird. Wenn Sie eine Frage stellen, schickt die Oberfläche den
bisherigen Gesprächsverlauf komplett mit, und das Modell liest ihn jedes
Mal neu, als hätte es ihn noch nie gesehen.
Dieser mitgeschickte Text lebt im sogenannten Kontextfenster
(englisch context window), dem Arbeitsspeicher des Modells für ein
Gespräch. Das Kontextfenster ist endlich. Aktuelle Modelle fassen je
nach Anbieter zwischen einigen Zehntausend und mehreren Hunderttausend
Token, wobei ein Token grob einem halben deutschen Wort entspricht.
Solange ein Gespräch in dieses Fenster passt, wirkt die KI, als würde
sie sich erinnern. In Wahrheit liest sie nur den kompletten Verlauf
immer wieder von vorne.
Zwei Dinge folgen daraus. Erstens: Ist das Fenster voll, fällt der
Anfang des Gesprächs hinten heraus. Das Modell verliert die frühen
Rahmeninfos, während Sie noch im selben Chat sind. Zweitens, und das ist
der eigentliche Kern: Sobald Sie ein neues Gespräch öffnen, ist das
Kontextfenster leer. Alles, was Sie im vorherigen Chat aufgebaut haben,
ist für das Modell verschwunden. Es bleibt über Sitzungen hinweg nur das
erhalten, was Sie aktiv wieder eintippen oder erneut mitgeben.
Die Erinnerungsfunktionen, die einige Anbieter inzwischen eingebaut
haben, ändern daran weniger, als der Name verspricht. Sie merken sich
meist wenige kurze Fakten über Sie, gelten nur innerhalb eines Anbieters
und lassen sich weder gezielt strukturieren noch zwischen verschiedenen
Werkzeugen teilen. Für einzelne Vorlieben reicht das. Für das Fachwissen
eines Projekts reicht es nicht.
Was das ständige Neuerklären kostet
Die Kosten dieses Verhaltens sind selten in einer einzelnen Rechnung
sichtbar. Sie verteilen sich in kleinen Portionen über den Tag und
summieren sich.
Sie tippen dieselben Rahmeninfos immer wieder ein. Eine technische
Redakteurin, die täglich mit einem KI-Assistenten arbeitet, beginnt
jedes neue Gespräch mit demselben Vorspann: Produktname, Zielgruppe,
erlaubte und verbotene Begriffe, Tonalität, Struktur der Handbücher. Das
sind schnell zehn bis fünfzehn Zeilen, die keinen inhaltlichen
Fortschritt bringen und die bei jedem neuen Chat neu geschrieben werden.
Über eine Woche mit mehreren Gesprächen pro Tag geht dabei spürbar Zeit
verloren, und die Qualität schwankt, weil der Vorspann mal vollständig
und mal in Eile gekürzt ausfällt.
Sie bekommen widersprüchliche Antworten, weil das Modell frühere
Entscheidungen nicht kennt. Am Montag legen Sie mit der KI gemeinsam
fest, dass eine Bedienungsanleitung nach dem Prinzip der
handlungsorientierten Sicherheitshinweise aufgebaut wird, Warnung vor
der Handlung. Am Mittwoch öffnen Sie ein frisches Gespräch, bitten um
einen weiteren Abschnitt, und die KI schlägt die umgekehrte Reihenfolge
vor. Sie merken den Bruch nur, wenn Sie sich an den Montag erinnern.
Fällt es Ihnen nicht auf, wandert die Inkonsistenz direkt in Ihr
Dokument.
Wissen versickert in einzelnen Chats. Sie feilen 40 Minuten an einem
Auftrag an die KI, bis er genau die Ergebnisse liefert, die Sie
brauchen. 2 Wochen später wollen Sie ihn wiederverwenden. Der Chat ist
inzwischen unter Hunderten anderen begraben, die Suche in den meisten
Oberflächen ist schwach, und am Ende schreiben Sie den Auftrag neu,
schlechter als beim ersten Mal. Das gute Ergebnis von damals war nie an
einem auffindbaren Ort abgelegt.
Im Team vervielfacht sich das. Arbeiten fünf Personen mit demselben
KI-Werkzeug am selben Projekt, baut jede für sich denselben Kontext auf,
in jeweils eigenen Chats, die niemand sonst sieht. Die eine hat der KI
beigebracht, wie Ihr Freigabeprozess läuft, die andere, welche
Formulierungen der Kunde ablehnt. Diese Kenntnisse bleiben in den
privaten Verläufen der einzelnen Mitarbeiter gefangen. Wenn jemand das
Unternehmen verlässt, geht sein mühsam antrainierter Kontext mit. Es
gibt keine gemeinsame Wissensbasis
im Unternehmen, an die alle andocken.
Drei Wege, ein Gedächtnis nachzurüsten
Weil das Problem strukturell ist, lässt es sich nicht durch
geschickteres Tippen lösen. Es braucht eine Ebene außerhalb des Modells,
die Wissen aufbewahrt und zum passenden Zeitpunkt wieder in das
Kontextfenster einspeist. Dafür haben sich drei Ansätze herausgebildet,
mit unterschiedlichem Aufwand und unterschiedlicher Reichweite.
Das gepflegte
Kontext-Dokument
Der einfachste Weg ist eine Datei, in der Sie die wichtigsten
Rahmeninfos sammeln, Projektname, Terminologie, Regeln, wichtige
Entscheidungen, und die Sie zu Beginn jedes Gesprächs hineinkopieren.
Viele Werkzeuge unterstützen das mit dauerhaften Anweisungen pro
Projekt.
Der Vorteil liegt im geringen Aufwand und in der vollen Kontrolle:
Sie sehen jederzeit, was die KI weiß. Die Grenzen zeigen sich schnell.
Das Dokument wächst, und irgendwann verbraucht es einen großen Teil des
Kontextfensters, bevor das eigentliche Gespräch überhaupt beginnt. Es
wird von Hand gepflegt, veraltet also genau dann, wenn niemand Zeit hat.
Und es lebt auf Ihrem Rechner, nicht im Team. Für einzelne, klar
umrissene Projekte ist dieser Weg gut. Als gemeinsames Gedächtnis einer
Abteilung wird er unhandlich.
Retrieval-Augmented
Generation
Der zweite Ansatz heißt Retrieval-Augmented Generation, kurz RAG.
Dabei werden Ihre Dokumente in kleine Abschnitte zerlegt und in einer
Vektordatenbank abgelegt, die nach inhaltlicher Ähnlichkeit sucht.
Stellen Sie eine Frage, holt das System die passenden Abschnitte heraus
und legt sie dem Modell mit in das Kontextfenster. So kann die KI auf
große Wissensbestände zugreifen, ohne dass alles gleichzeitig im Fenster
liegt.
RAG ist die richtige Wahl, wenn Sie viele Dokumente durchsuchbar
machen wollen, etwa ein Handbucharchiv oder eine Wissensdatenbank. Der
Ansatz hat aber blinde Flecken. Die Ähnlichkeitssuche findet, was den
Wörtern Ihrer Frage ähnelt, und übersieht Zusammenhänge, die anders
formuliert sind. Aufbau und Pflege sind technisch anspruchsvoll, und die
Qualität steht und fällt mit der Aufteilung der Abschnitte. Vor allem
ist RAG auf abgelegte Dokumente ausgelegt. Für die vielen kleinen
Entscheidungen und Vorlieben, die im Gespräch entstehen und nirgends in
einem Dokument stehen, ist es das falsche Werkzeug.
Ein dauerhaftes Gedächtnis über MCP
Der dritte Ansatz setzt eine eigene Gedächtnisschicht zwischen Sie
und die KI-Werkzeuge. Diese Schicht speichert dauerhaft, was zählt,
Fakten, Entscheidungen, Zusammenhänge, und gibt der KI bei jeder Anfrage
gezielt das Passende mit. Angebunden wird sie über das Model Context
Protocol (MCP), einen offenen Standard, den Anthropic 2024 vorgestellt
hat und den inzwischen mehrere Anbieter unterstützen. MCP legt fest, wie
ein KI-Assistent externe Werkzeuge und Datenquellen anspricht. Ein
Gedächtnis, das als MCP-Server läuft, lässt sich dadurch von
verschiedenen Assistenten gemeinsam nutzen.
Der entscheidende Gewinn: Das Gedächtnis hängt nicht mehr an einem
einzelnen Anbieter und nicht mehr an einer einzelnen Person. Was Ihr
Kollege der KI heute beibringt, steht Ihnen morgen im selben
Wissensstand zur Verfügung, auch wenn Sie mit einem anderen Werkzeug
arbeiten. Wie sich mehrere KI-Werkzeuge planvoll zusammenführen lassen,
habe ich im Beitrag zur Multi-LLM-Orchestrierung
beschrieben. Der Preis dafür ist eine zusätzliche Komponente, die
eingerichtet, betrieben und mit Blick auf den Datenschutz sauber
verortet werden muss. Und ein Gedächtnis ist nur so gut wie das, was
hineingeschrieben wird: Wird es nicht gepflegt, sammelt es
Halbwahrheiten. Diese Grenze gehört zur Einordnung dazu.
Wo knowmind hereinpasst
Eine mögliche Umsetzung eines solchen anbieterübergreifenden
Gedächtnisses ist knowmind, das ich selbst entwickele.
knowmind ist eine persistente Gedächtnis- und Kontextinfrastruktur, die
über MCP an mehrere KI-Assistenten angebunden wird und in Deutschland
gehostet ist. Der Grundgedanke deckt sich mit dem dritten Ansatz oben:
eine Schicht, die Wissen über Sitzungen und über Werkzeuge hinweg
festhält und gezielt einspeist.
Ich nenne es hier als Beispiel, nicht als Empfehlung für jeden Fall.
Wer nur ein einzelnes Projekt bei einem einzelnen Anbieter betreut,
kommt mit einem gepflegten Kontext-Dokument weit. Wer ein durchsuchbares
Dokumentenarchiv braucht, ist mit RAG besser bedient. Ein eigenständiger
Gedächtnis-Layer lohnt sich dort, wo mehrere Menschen mit mehreren
Werkzeugen an gemeinsamem Wissen arbeiten und dieses Wissen den Anbieter
überleben soll. Und auch dann gilt die genannte Grenze: Ein Gedächtnis
nimmt Ihnen das Aufschreiben ab, nicht das Nachdenken darüber, was
aufgeschrieben gehört.
Wie Sie anfangen
Der wichtigste Schritt ist, das Vergessen als das zu erkennen, was es
ist: eine bekannte Eigenschaft der Technik, die man einplanen kann.
Prüfen Sie, wo in Ihrem Team dieselben Rahmeninfos immer wieder
eingetippt werden, wo widersprüchliche KI-Antworten in Ergebnisse
geraten und wo gute Arbeitsaufträge nach zwei Wochen unauffindbar sind.
Diese drei Stellen zeigen Ihnen, wie groß Ihr Gedächtnis-Problem
tatsächlich ist.
Für den Einstieg reicht ein sauber gepflegtes Kontext-Dokument pro
Projekt. Wächst der Bedarf über Personen und Werkzeuge hinaus, lohnt der
Blick auf einen persistenten Gedächtnis-Layer über MCP. In beiden Fällen
gewinnen Sie das Wichtigste zurück: Ihre KI beginnt den Morgen nicht
mehr mit einem leeren Blatt.
3 Kommentare
Austausch zum Artikel. Moderiert, sachlich, auf den Punkt.