01
La prova di ciò che un secondo cervello deve saper fare
Un secondo cervello vale solo quanto riesce a restituirti. Non ciò che conserva: ciò che trova e usa il giorno in cui chiedi. È sorprendentemente difficile da misurare, ecco perché LongMemEval è importante.
LongMemEval è un benchmark per la memoria a lungo termine negli assistenti chat, pubblicato a ICLR 2025 da Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang e Dong Yu (il paper). Contiene 500 domande. Ognuna si basa su una lunga storia di conversazioni tra persona e assistente e chiede un dettaglio nascosto.
Nel suo set “S”, quello che la maggior parte dei sistemi di memoria riporta, ogni domanda include circa 48 chat precedenti: circa 115.000 token, o quasi 490 messaggi. Il dettaglio che ti serve potrebbe essere una frase in una di queste.
02
Cinque modi di ricordare
Le domande testano cinque abilità, le stesse che vorresti in una persona con buona memoria:
- Un fatto che hai menzionato una volta. “Come si chiama il mio gatto?”, chiesto mesi dopo che lo avevi detto di sfuggita.
- Somma tra le chat. “Quante bici possiedo ora?”, quando le hai nominate una per una.
- Cose che sono cambiate. Il tuo record nella lega di pallavolo del mese scorso, non quello di primavera.
- Date e orari. “Quanti giorni passano tra la semina delle erbe e il primo raccolto?”
- Sa quando qualcosa non è mai stato detto. Un sincero “non me l’hai detto” invece di un’ipotesi azzardata.
Alcune domande verificano anche le tue preferenze e ciò che l’assistente ha detto prima, quindi non ricorda solo la tua parte della conversazione.
03
Perché è difficile, anche per i grandi modelli AI
Potresti pensare che un modello capace di leggere 100.000 token alla volta risolva il problema: basta incollare tutta la cronologia. È proprio ciò che il paper ha testato. Uno dei modelli AI più avanzati dell’epoca, con tutta la cronologia a disposizione per ogni domanda, ha risposto correttamente al 60,6%. Limitato solo alle poche conversazioni che contenevano la risposta, ha raggiunto l’87,0%.
Quella lacuna è il punto. La memoria non è una finestra abbastanza ampia; si tratta di trovare la frase che conta, sapere qual è la versione più aggiornata di un fatto e fare i calcoli sulle date. Questo è il compito di un sistema di memoria, ed è ciò su cui si basa Recallr.
04
Punteggio di Recallr: 86,7%
Recallr ha risposto correttamente a 104 su 120 domande, con un punteggio del 86,7%. Abbiamo testato il sistema così com’è: le chat precedenti di ogni domanda sono state caricate in un account nuovo come chat passate, poi la domanda è stata posta in una nuova chat. Ogni risposta è stata valutata in modo cieco, usando i prompt e il modello di valutazione del benchmark.
Due note sincere. Abbiamo eseguito 120 delle 500 domande, 20 per ciascuna delle sei categorie, dalla versione pulita del set rilasciato dagli autori. E Recallr ha risposto con un modello veloce ed economico, uno dei modelli AI che utilizza.
| Sistema | Punteggio | Modello AI che ha risposto | Fonte |
|---|---|---|---|
| Memoria Osservativa Mastra | 94.9% | un modello generale di piccole dimensioni | Ricerca Mastra, feb 2026 |
| Riflessioni a posteriori | 91.4% | un modello backbone più grande | Latimer et al., arXiv, dic 2025 |
| Recallr | 86.7% | un modello veloce per l’uso quotidiano | Questo test |
| EmergenceMem | 86.0% | un modello interno | Blog Emergence AI, giugno 2025 |
| Supermemoria | 85.2% | un modello generale di grandi dimensioni | Ricerca Supermemory |
| Zep | 71.2% | un modello generale meno recente | Rasmussen et al., arXiv, gen 2025 |
| Un modello AI che legge tutta la cronologia | 60.6% | un modello generale meno recente | Wu et al., ICLR 2025 (il paper del benchmark) |
Consideralo come un intervallo, non una gara: ogni sistema ha risposto con un modello AI diverso, e gli altri hanno eseguito tutte le 500 domande. Ciò dimostra che Recallr, un’app consumer, ricorda in un intervallo simile a quello dei sistemi di memoria su cui gli sviluppatori AI costruiscono agenti, e molto meglio di un grande modello che legge tutto (60,6%).
05
Cosa ha ricordato
Alcune risposte corrette di Recallr, parola per parola. Le persone e le loro chat precedenti sono del test stesso.
"How many bikes do I currently own?"
Quattro. Nel tuo messaggio del 2 ottobre hai detto di aver appena comprato una nuova bici ibrida, quindi ora hai una bici da strada, una da montagna, una da città e quella ibrida – erano tre quelle che mi avevi detto il 15 febbraio.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
Dieci volte – me l’hai detto giovedì 15 ottobre 2026. (A giugno dicevi cinque, quindi l’hai raddoppiato.)
"What is my current highest score in Ticket to Ride?"
132 punti – li hai raggiunti il 4 ottobre 2026, durante la chat della serata di gioco a Scythe. Era meglio del 124 del 1° ottobre.
06
Cosa significa questo se usi Recallr
Dillo una volta, chiedi mesi dopo. Recallr ricorda le tue chat passate, tutto ciò che salvi (articoli, video, post, PDF, foto) e ciò che gli chiedi di ricordare, indicando sempre la fonte della risposta.
Ripetiamo il test ogni volta che esce una nuova versione di Recallr, e la pagina benchmark mostra sempre la versione che stai usando. Se vuoi provarlo con la tua memoria, Recallr è gratis per iniziare.