01
Le test essentiel pour un second cerveau
Un second cerveau vaut ce qu’il te rend. Pas ce qu’il stocke : ce qu’il peut retrouver et utiliser le jour où tu demandes. C’est étonnamment difficile à mesurer, c’est pourquoi LongMemEval est important.
LongMemEval est une référence pour la mémoire à long terme des assistants de chat, publiée à ICLR 2025 par Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang et Dong Yu (l’article). Il comprend 500 questions. Chacune s’appuie sur un long historique de conversations entre une personne et un assistant, et interroge un détail enfoui quelque part.
Dans son ensemble « S », celui que la plupart des systèmes de mémoire rapportent, chaque question s’accompagne d’environ 48 conversations précédentes : environ 115 000 tokens, ou près de 490 messages. Le détail dont tu as besoin peut être une phrase dans l’une d’elles.
02
Cinq façons de se souvenir
Les questions testent cinq capacités, celles que tu attendrais d’une personne avec une bonne mémoire :
- Un fait que tu as mentionné une fois. « Quel est le nom de mon chat ? », demandé des mois après que tu l’aies dit en passant.
- Additionné à travers les discussions. « Combien de vélos ai-je maintenant ? », quand tu les as mentionnés un par un.
- Ce qui a changé. Ton classement en volley le mois dernier, pas celui du printemps.
- Dates et temps. « Combien de jours entre la plantation des herbes et la première récolte ? »
- Savoir quand ce n’a jamais été dit. Un honnête « tu ne m’as pas dit ça » plutôt qu’une supposition hasardeuse.
Certaines questions vérifient aussi tes préférences et ce que l'assistant a dit plus tôt, donc il ne retient pas que ton côté de la conversation.
03
Pourquoi c’est difficile, même pour les grands modèles d’IA
On pourrait croire qu’un modèle capable de lire 100 000 tokens d’un coup règle le problème : il suffit de coller tout l’historique. C’est exactement ce qu’a testé l’article. L’un des modèles IA les plus puissants du moment, avec tout l’historique pour chaque question, a eu 60,6 % de bonnes réponses. Avec seulement les quelques conversations contenant la réponse, il est monté à 87,0 %.
Ce vide est justement le point. La mémoire n’est pas une fenêtre assez grande ; il faut trouver la phrase qui compte, savoir quelle version d’un fait est la plus récente, et faire le calcul des dates. C’est le rôle d’un système de mémoire, et c’est ce sur quoi Recallr est construit.
04
Note de Recallr : 86,7 %
Recallr a répondu correctement à 104 questions sur 120, soit 86,7 %. Nous l’avons testé tel quel : les conversations précédentes de chaque question ont été chargées dans un nouveau compte comme historique, puis la question a été posée dans une nouvelle conversation. Chaque réponse a été évaluée à l’aveugle, avec les prompts et le modèle d’évaluation du benchmark.
Deux précisions. Nous avons testé 120 des 500 questions, soit 20 de chaque type, à partir de la version nettoyée publiée par les auteurs. Et Recallr a répondu avec un modèle rapide et économique, l’un de ceux qu’il utilise.
| Système | Score | Modèle IA ayant répondu | Source |
|---|---|---|---|
| Mémoire d’observation Mastra | 94.9% | un petit modèle généraliste | Recherche Mastra, fév. 2026 |
| Rétrospective | 91.4% | un modèle de base plus puissant | Latimer et al., arXiv, déc. 2025 |
| Recallr | 86.7% | un modèle rapide du quotidien | Ce test |
| EmergenceMem | 86.0% | un modèle interne | Blog Emergence AI, juin 2025 |
| Supermémoire | 85.2% | un grand modèle généraliste | Recherche Supermemory |
| Zep | 71.2% | un ancien modèle généraliste | Rasmussen et al., arXiv, janv. 2025 |
| Un modèle IA qui lit tout l’historique | 60.6% | un ancien modèle généraliste | Wu et al., ICLR 2025 (l’article du benchmark) |
Lis-le comme une fourchette, pas une course : chaque système a répondu avec un modèle d’IA différent, et les autres ont traité les 500 questions. Cela montre que Recallr, une appli grand public, mémorise dans la même fourchette que les systèmes de mémoire sur lesquels les développeurs d’IA construisent leurs agents, et bien mieux qu’un gros modèle lisant tout (60,6 %).
05
Ce qu'il a retenu
Quelques bonnes réponses de Recallr, mot pour mot. Les personnes et leurs conversations précédentes sont celles du test.
"How many bikes do I currently own?"
Quatre. Dans ton message du 2 octobre, tu disais avoir acheté un nouveau vélo hybride, donc tu as maintenant un vélo de route, un VTT, un vélo de ville et ce vélo hybride — soit un de plus que les trois dont tu m’avais parlé le 15 février.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
Dix fois – tu me l’as dit le jeudi 15 octobre 2026. (En juin, tu disais cinq, donc tu as doublé depuis.)
"What is my current highest score in Ticket to Ride?"
132 points – tu l’as atteint le 4 octobre 2026, lors de la discussion pendant la soirée jeux Scythe. C’est mieux que ton précédent 124 du 1er octobre.
06
Ce que cela signifie si tu utilises Recallr
Dis-le une fois, et demande des mois plus tard. Recallr se souvient de tes conversations passées, de tout ce que tu sauvegardes (articles, vidéos, posts, PDFs, photos) et de ce que tu lui demandes de retenir, en indiquant toujours la source de la réponse.
Nous relançons le test à chaque nouvelle version de Recallr, et la page de référence affiche toujours la version que tu utilises. Si tu veux essayer avec ta propre mémoire, Recallr est gratuit pour commencer.