01
Der Test für das, was ein zweites Gehirn können muss
Ein Zweithirn ist nur so gut wie das, was es zurückgibt. Nicht was es speichert, sondern was es am Tag deiner Anfrage findet und nutzt. Das ist überraschend schwer zu messen – deshalb ist LongMemEval so wichtig.
LongMemEval ist ein Benchmark für Langzeitgedächtnis bei Chat-Assistenten, veröffentlicht auf der ICLR 2025 von Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang und Dong Yu (die Studie). Es enthält 500 Fragen. Jede basiert auf einer langen Historie früherer Gespräche zwischen einer Person und einem Assistenten und fragt nach einem Detail, das irgendwo darin verborgen ist.
Im „S“-Set, das die meisten Gedächtnissysteme berichten, hat jede Frage etwa 48 frühere Chats: rund 115.000 Tokens oder knapp 490 Nachrichten. Das Detail, das du brauchst, könnte ein Satz in einem davon sein.
02
Fünf Arten des Erinnerns
Die Fragen testen fünf Fähigkeiten, dieselben, die du von einer Person mit gutem Gedächtnis erwarten würdest:
- Eine Tatsache, die du einmal erwähnt hast. „Wie heißt meine Katze?“, gefragt Monate nachdem du es beiläufig erwähnt hattest.
- Zusammengezählt über Chats hinweg. „Wie viele Fahrräder besitze ich jetzt?“, wenn du sie einzeln erwähnt hast.
- Dinge, die sich geändert haben. Dein Volleyball-Liga-Ergebnis vom letzten Monat, nicht das vom Frühjahr.
- Daten und Zeiten. „Wie viele Tage liegen zwischen dem Pflanzen der Kräuter und der ersten Ernte?"
- Weiß, wann etwas nie gesagt wurde. Ein ehrliches „Das hast du mir nicht erzählt“ statt einer sicheren Vermutung.
Manche Fragen prüfen auch deine Vorlieben und was der Assistent zuvor gesagt hat, daher merkt er sich nicht nur deine Seite des Gesprächs.
03
Warum es schwierig ist, selbst für große KI-Modelle
Man könnte denken, ein Modell, das 100.000 Tokens auf einmal lesen kann, löst das Problem: einfach die ganze Historie einfügen. Genau das hat die Studie getestet. Eines der damals stärksten KI-Modelle bekam für jede Frage die komplette Historie – und lag bei 60,6 % richtig. Hatte es nur die wenigen Gespräche mit der Antwort, waren es 87,0 %.
Diese Lücke ist der Punkt. Das Gedächtnisfenster ist nicht groß genug; es geht darum, den einen Satz zu finden, der zählt, zu wissen, welche Version einer Tatsache die neueste ist, und das Datum zu berechnen. Das ist die Aufgabe eines Gedächtnissystems – und genau darum ist Recallr gebaut.
04
Recallrs Bewertung: 86,7 %
Recallr beantwortete 104 von 120 Fragen richtig, also 86,7 %. Wir haben es genau so getestet, wie es ausgeliefert wird: Die früheren Chats jeder Frage wurden in einem frischen Konto als vergangene Chats geladen, dann wurde die Frage in einem neuen Chat gestellt. Jede Antwort wurde blind bewertet, mit den Prüfaufforderungen und dem Bewertungsmodell des Benchmarks.
Zwei ehrliche Hinweise: Wir haben 120 der 500 Fragen getestet, jeweils 20 aus jeder der sechs Kategorien, aus der bereinigten Version des veröffentlichten Sets. Und Recallr hat mit einem schnellen, günstigen Alltagsmodell geantwortet – einem der KI-Modelle, die es nutzt.
| System | Bewertung | KI-Modell, das geantwortet hat | Quelle |
|---|---|---|---|
| Mastra Beobachtungs-Gedächtnis | 94.9% | kleines Generalmodell | Mastra Forschung, Feb 2026 |
| Rückblick | 91.4% | ein größeres Backbone-Modell | Latimer et al., arXiv, Dez 2025 |
| Recallr | 86.7% | schnelles Alltagsmodell | Dieser Test |
| EmergenceMem | 86.0% | ein internes Modell | Emergence AI Blog, Juni 2025 |
| Supergedächtnis | 85.2% | großes Generalmodell | Supermemory Forschung |
| Zep | 71.2% | älteres Generalmodell | Rasmussen et al., arXiv, Jan 2025 |
| Ein KI-Modell, das die gesamte Historie liest | 60.6% | älteres Generalmodell | Wu et al., ICLR 2025 (die Benchmark-Studie) |
Sieh es als Bandbreite, nicht als Wettlauf: Jedes System antwortete mit einem anderen KI-Modell, und die anderen bearbeiteten alle 500 Fragen. Es zeigt, dass Recallr, eine Consumer-App, im gleichen Bereich erinnert wie die Gedächtnissysteme, auf denen KI-Entwickler Agenten aufbauen, und deutlich besser als ein großes Modell, das alles liest (60,6 %).
05
Was es sich gemerkt hat
Einige von Recallrs richtigen Antworten, Wort für Wort. Die Personen und ihre früheren Chats stammen aus dem Test selbst.
"How many bikes do I currently own?"
Vier. In deiner Nachricht vom 2. Oktober hast du gesagt, du hättest gerade ein neues Hybridrad gekauft. Jetzt hast du also ein Rennrad, ein Mountainbike, ein Pendlerbike und das Hybrid – das sind vier, statt der drei, die du mir am 15. Februar erzählt hast.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
Zehn Mal – das hast du mir am Donnerstag, den 15. Oktober 2026 gesagt. (Im Juni hattest du noch fünf gesagt, du hast es also verdoppelt.)
"What is my current highest score in Ticket to Ride?"
132 Punkte – das hast du am 4. Oktober 2026 erwähnt, während des Scythe-Spieleabends. Damit hast du deinen vorherigen Rekord von 124 Punkten vom 1. Oktober übertroffen.
06
Was das für dich bedeutet, wenn du Recallr nutzt
Sag es einmal. Frag Monate später. Recallr erinnert sich an deine Chats, alles, was du speicherst (Artikel, Videos, Posts, PDFs, Fotos) und was du es merken lässt – und nennt die Quelle der Antwort.
Wir führen den Test bei jeder neuen Recallr-Version erneut durch, und die Benchmark-Seite zeigt immer die Version, die du nutzt. Wenn du es mit deinen eigenen Erinnerungen ausprobieren möchtest, Recallr ist kostenlos zum Starten.