Wo liegt eigentlich das Gedächtnis eines KI-Agenten?
Eine Taxonomie entlang von vier Fragen: wo Information liegt, in welcher Form, wie sie zum Modell kommt und wie lange sie überlebt.
Vier Fragen an jede gespeicherte Information
“Der Agent soll sich an den Kunden erinnern.” Diesen Satz höre ich in Projekten häufig, und alle Beteiligten nicken. Zwei Wochen später stellt sich heraus, dass drei verschiedene Dinge gemeint waren. Die Fachabteilung dachte an den Gesprächsverlauf innerhalb einer Sitzung. Die IT dachte an eine Anbindung an das CRM. Und irgendjemand hatte im Kopf, das Modell auf den eigenen Daten nachzutrainieren.
Diese drei Varianten unterscheiden sich in Kosten, in Latenz, in der Frage, ob eine Antwort belegbar ist, und darin, ob man die Information später wieder loswird. Deshalb lohnt es sich, das Wort “Gedächtnis” auseinanderzunehmen, bevor über Architektur oder Anbieter gesprochen wird.
Ich benutze dafür vier Fragen, die sich an jede einzelne Information stellen lassen, mit der ein Agent arbeitet:
- Wo liegt sie?
- In welcher Form liegt sie dort?
- Wie kommt sie zum Modell?
- Wie lange überlebt sie?
Die ersten drei entscheidet man gemeinsam. Der Ort legt weitgehend die Form fest, und die Form legt fest, welcher Zugriffsweg überhaupt möglich ist. Die vierte Frage verhält sich anders, dazu unten mehr. Abbildung 1 zeigt die ersten drei zusammen.
Vier Orte
Die häufigste Fehlvorstellung, die mir in Lehrveranstaltungen begegnet, ist die, dass ein Modell lernt, was man ihm im Gespräch erzählt. Chatprodukte legen das nahe. Das System wirkt, als erinnere es sich, also muss es etwas gespeichert haben. Gelernt hat es nichts. Was wie Erinnerung aussieht, wird bei jedem Aufruf erneut in den Prompt geschrieben, entweder aus dem Gesprächsverlauf oder aus einem Speicher, den das Produkt daneben führt. Das Modell selbst ist unverändert.
Die Gewichte des Modells enthalten, was im Training in die Parameter gewandert ist. Ich nenne das parametrisches Gedächtnis. Es steht immer zur Verfügung und kostet zur Laufzeit nichts zusätzlich. Adressieren lässt es sich nicht. Auf die Frage, aus welchem Dokument eine Aussage stammt, gibt es keine Antwort, weil die Aussage in keinem Dokument steht. Sie ist über Millionen von Zahlen verteilt.
Das Kontextfenster enthält alles, was das Modell bei einem konkreten Aufruf liest: Systemanweisung, Gesprächsverlauf, abgerufene Passagen, Werkzeugausgaben. Dieser Speicher ist explizit, überprüfbar und zwischen zwei Aufrufen frei änderbar. Er ist zugleich der einzige Ort, den das Modell direkt sieht.
Der Runtime-State ist der Zustand, den die Laufzeitumgebung während eines Ablaufs mitführt. Zwischenergebnisse, Schleifenzähler, zwischengespeicherte Werkzeugantworten. Er gehört zum Lauf und verschwindet mit ihm.
Externe Speicher sind Dokumentablagen, Vektorindizes wie pgvector oder Qdrant, Graphdatenbanken wie Neo4j, und die Datensätze in Systemen, die ohnehin schon laufen. Sie überdauern Sitzungen. Sie sind auch der einzige Ort, an dem sich Inhalte gezielt anlegen, ändern und löschen lassen.
Die Aufzählung folgt der Nähe zum Modell. Nahe am Modell ist der Zugriff billig und die Kontrolle schwach. Weiter draußen kostet jede Anfrage Aufwand, dafür kann man eingreifen.
Die Form entscheidet über den Zugriff
Was an einem Ort liegt, liegt dort in einer bestimmten Form, und diese Form legt den Zugriffsweg fest. Ein Vektorindex speichert Embeddings und wird über Ähnlichkeit durchsucht (Lewis u. a. 2020). Ein Wissensgraph speichert Entitäten und Kanten und wird traversiert. Strukturierte Datensätze werden per Identifier nachgeschlagen. Rohe Dokumente sind der Grenzfall, bei dem beides funktioniert, je nachdem was vorher aufgebaut wurde.
Die Zugriffsart folgt aus der Ablageentscheidung. Wer Kundenhistorie als Fließtext in einen Vektorindex kippt, bekommt später Schwierigkeiten mit der Frage, wie viele Vorgänge ein Kunde im letzten Quartal hatte. Das ist eine Aggregation, keine Ähnlichkeitssuche. Umgekehrt hilft die sauberste relationale Struktur wenig, wenn jemand wissen will, was eine Betriebsanleitung sinngemäß zu einem Fehlerbild sagt.
In Abbildung 1 laufen alle vier Formen am Kontextfenster auf eine einzige zusammen. Was das Modell liest, ist Text, auch wenn es als Graphkante oder als Tabellenzeile begonnen hat. Diese Umwandlung passiert an der Prozessgrenze und ist eine eigene Fehlerquelle.
Die Zeitfrage verhält sich anders
Man könnte annehmen, die Aufbewahrungsdauer ergebe sich aus dem Ort. Kontextfenster kurz, externe Speicher lang. Das stimmt so nicht.
Ein Kontextfenster hält gleichzeitig eine Systemanweisung, die eine ganze Sitzung übersteht, und eine abgerufene Passage, die nach einem Aufruf verworfen wird. Externe Speicher reichen vom Debug-Log, das nach wenigen Tagen automatisch verfällt, über kuratierte Sitzungszusammenfassungen mit Aufbewahrung über Wochen bis zu geprüftem Fachwissen, das jahrelang gepflegt wird. Das ist dieselbe Speicherart mit drei völlig verschiedenen Aufbewahrungsregimen und entsprechend verschiedenen Prüfpflichten.
Persistenz ist deshalb eine eigene Frage und keine Eigenschaft des Ortes. Für jede Kategorie von Inhalt braucht es eine explizite Entscheidung darüber, wie lange sie bleibt und wer das überprüft. Diese Entscheidung gehört in die Architektur und nicht in eine Betriebsanweisung, die später nachgereicht wird.
Nur an einer Stelle fehlt der Rückweg
In Projekten kommt die Löschfrage selten früh. Sie kommt, wenn jemand aus dem Datenschutz das Konzept liest.
Für externe Speicher ist Löschen gelöst. Man entfernt den Datensatz, die daraus erzeugten Chunks und die zugehörigen Vektoren. Das kostet Aufwand, und der Entwurf muss sicherstellen, dass die Ableitungen überhaupt auffindbar sind. Machbar und prüfbar ist es.
Für parametrisches Gedächtnis gibt es diesen Weg nicht. Was in die Gewichte trainiert wurde, lässt sich nicht selektiv wieder herausnehmen. Die Forschung zum maschinellen Verlernen entwickelt Näherungsverfahren und berichtet erhebliche Effizienzgewinne gegenüber der naheliegenden Alternative (Yao u. a. 2024). Näherungsweise Entfernung ist allerdings eine schwächere Zusage, als Artikel 17 DSGVO verlangt. Verlässlich bleibt nur Neutraining ab einem sauberen Stand, und das setzt voraus, dass Trainingsdaten und Ausgangsmodell noch vorhanden sind.
In Abbildung 1 ist diese Asymmetrie absichtlich sichtbar gemacht. Aus jedem Speicher führt ein Pfeil ins Kontextfenster. In die Gewichte führt ein gestrichelter Einbahnpfeil, und heraus führt nichts.
Für Adapterverfahren gilt das so nicht. Bei Low-Rank-Adaption bleiben die vortrainierten Gewichte eingefroren. Gelernt wird ein kleines, separates Matrizenpaar, dessen Produkt zur Ausgabe einer Schicht addiert wird (Hu u. a. 2021). Dieses Delta ist ein eigenes Artefakt. Man kann es abhängen, und das darin gelernte Wissen geht mit. Die Wahl zwischen vollständigem Fine-Tuning und Adapter ist damit auch eine Governance-Entscheidung und nicht nur eine Kostenfrage.
Was das für Entscheidungen heißt
Aus der Taxonomie ergibt sich eine Reihenfolge, die ich inzwischen fast immer anwende.
Retrieval ist der Standardfall. Der Grund ist nicht technische Überlegenheit, sondern die Betriebseigenschaften: Inhalte sind einzeln änderbar, Antworten lassen sich auf eine Quelle zurückführen, und ein Modellwechsel lässt den Index unberührt. Die Verfahrensfamilie ist gut untersucht, von der klassischen Retrieval-Augmented Generation (Lewis u. a. 2020) über Nachbarschaftsverfahren auf Token-Ebene (Khandelwal u. a. 2020) bis zu Architekturen, die den Abruf direkt in das Modell einbauen (Borgeaud u. a. 2022).
Fine-Tuning lohnt sich, wenn das Ziel ein Muster ist und keine Tatsache. Ausgabeformat, Hausstil, Terminologie, eine eng umrissene wiederkehrende Aufgabe. Also überall dort, wo der Inhalt stabil bleibt und niemand später fragen wird, woher etwas stammt. Über die APIs von OpenAI oder Azure OpenAI ist das inzwischen ein überschaubarer Vorgang, was die Hemmschwelle senkt und die Governance-Frage entsprechend dringlicher macht.
Episodisches Gedächtnis ist ein Sonderfall von Langzeitspeicher. Die Unterscheidung zwischen semantischem Wissen und der Erinnerung an konkrete Ereignisse stammt aus der Kognitionspsychologie (Tulving 1972). Agentische Systeme brauchen ein Gegenstück davon, um sich auf frühere Sitzungen zu beziehen. Umgesetzt wird das typischerweise als Strom von Beobachtungen in natürlicher Sprache, aus dem nach Aktualität, Wichtigkeit und Relevanz ausgewählt wird (Park u. a. 2023). In den Begriffen dieses Beitrags ist das kein weiterer Ort, sondern Langzeitspeicher mit einem besonderen Inhalt.
Für ein konkretes Vorhaben reduziere ich das gern auf drei Fragen. Ändert sich der Inhalt? Dann gehört er in einen externen Speicher, unabhängig davon, wie attraktiv ein feingetuntes Modell klingt. Muss die Antwort belegbar sein? Dann führt kein Weg an Abruf mit Herkunftsangabe vorbei, denn ein feingetuntes Modell behauptet, ohne zeigen zu können. Kann jemand die Löschung dieses Inhalts verlangen? Dann darf er nicht in die Gewichte, allenfalls in einen abnehmbaren Adapter.
Fazit
Gedächtnis in agentischen Systemen ist eine Reihe von Entscheidungen: wo etwas liegt, in welcher Form, über welchen Weg es zum Modell kommt und wie lange es bleibt. Die ersten drei Entscheidungen hängen zusammen. Die vierte braucht eine eigene Antwort.
Als Faustregel taugt am ehesten dies: Alles, was man später möglicherweise wieder loswerden muss, gehört nach draußen. Das Kontextfenster vergisst von selbst, ein externer Speicher lässt sich aufräumen. Die Gewichte tun weder das eine noch das andere.
Ausführlicher steht die Taxonomie in dem Buch über KI-Agenten, das Michael Hewing und ich bei Springer Nature veröffentlichen.