01
O teste da única coisa que um segundo cérebro precisa fazer
Um segundo cérebro vale pelo que devolve, não pelo que armazena: pelo que encontra e usa no dia que você pergunta. Isso é difícil de medir, por isso o LongMemEval é importante.
LongMemEval é um benchmark para memória de longo prazo em assistentes de chat, publicado no ICLR 2025 por Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang e Dong Yu (o artigo). São 500 perguntas. Cada uma se baseia em um longo histórico de conversas anteriores entre uma pessoa e um assistente, e pergunta sobre um detalhe escondido em algum lugar.
No conjunto “S”, o que a maioria dos sistemas de memória reporta, cada pergunta vem com cerca de 48 conversas anteriores: aproximadamente 115.000 tokens, ou perto de 490 mensagens. O detalhe que você precisa pode estar em uma frase de uma delas.
02
Cinco formas de lembrar
As perguntas testam cinco habilidades, as mesmas que você esperaria de alguém com boa memória:
- Um fato que você mencionou uma vez. "Qual é o nome do meu gato?", perguntou meses depois que você falou de passagem.
- Somando ao longo das conversas. "Quantas bicicletas eu tenho agora?", quando você as mencionou uma a uma.
- Coisas que mudaram. Seu resultado na liga de vôlei do mês passado, não o da primavera.
- Datas e tempo. "Quantos dias entre plantar as ervas e a primeira colheita?"
- Saber quando algo nunca foi dito. Um honesto “você não me contou isso” em vez de um palpite confiante.
Algumas perguntas também verificam suas preferências e o que o assistente disse antes, então ele não lembra só do seu lado da conversa.
03
Por que é difícil, mesmo para grandes modelos de IA
Você pode pensar que um modelo capaz de ler 100.000 tokens de uma vez resolve isso: é só colar todo o histórico. O artigo testou exatamente isso. Um dos modelos de IA mais avançados da época, recebendo o histórico completo para cada pergunta, acertou 60,6%. Quando recebeu só as conversas que tinham a resposta, acertou 87,0%.
Essa lacuna é o ponto. A memória não é uma janela grande o suficiente; é encontrar a frase que importa, saber qual versão do fato é a mais recente e fazer as contas de datas. Esse é o trabalho de um sistema de memória, e é para isso que o Recallr foi criado.
04
Nota do Recallr: 86,7%
Recallr acertou 104 de 120 perguntas, 86,7%. Testamos exatamente como vem: os chats anteriores de cada pergunta foram carregados em uma conta nova como histórico, depois a pergunta foi feita em um chat novo. Cada resposta foi avaliada às cegas, com os prompts e modelo avaliador do benchmark.
Dois avisos sinceros: rodamos 120 das 500 perguntas, sendo 20 de cada um dos seis tipos, da versão limpa do conjunto liberado pelos autores. E o Recallr respondeu usando um modelo rápido e econômico, um dos modelos de IA que utiliza.
| Sistema | Pontuação | Modelo de IA que respondeu | Fonte |
|---|---|---|---|
| Memória Observacional Mastra | 94.9% | modelo geral pequeno | Pesquisa Mastra, fev 2026 |
| Retrospectiva | 91.4% | um modelo backbone maior | Latimer et al., arXiv, dez 2025 |
| Recallr | 86.7% | modelo rápido do dia a dia | Este teste |
| EmergenceMem | 86.0% | um modelo interno | Blog Emergence AI, junho 2025 |
| Supermemória | 85.2% | modelo geral grande | Pesquisa Supermemory |
| Zep | 71.2% | modelo geral antigo | Rasmussen et al., arXiv, jan 2025 |
| Um modelo de IA lendo todo o histórico | 60.6% | modelo geral antigo | Wu et al., ICLR 2025 (artigo do benchmark) |
Veja como uma faixa, não uma corrida: cada sistema respondeu com um modelo de IA diferente, e os demais responderam às 500 perguntas. Isso mostra que Recallr, um app para consumidores, lembra na mesma faixa dos sistemas de memória que desenvolvedores de IA usam para agentes, e muito melhor que um modelo grande lendo tudo (60,6%).
05
O que foi lembrado
Algumas respostas certas do Recallr, palavra por palavra. As pessoas e seus chats anteriores são do próprio teste.
"How many bikes do I currently own?"
Quatro. Na sua mensagem de 2 de outubro, você disse que tinha acabado de comprar uma bicicleta híbrida, então agora você tem uma bicicleta de estrada, uma mountain bike, uma bike para o dia a dia e essa híbrida – um a mais do que as três que você me contou em 15 de fevereiro.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
Dez vezes – você me disse isso na quinta-feira, 15 de outubro de 2026. (Em junho, você tinha dito cinco, então dobrou desde então.)
"What is my current highest score in Ticket to Ride?"
132 pontos – você alcançou isso em 4 de outubro de 2026, quando mencionou durante a conversa da noite de jogos de Scythe. Isso superou seus 124 pontos anteriores de 1º de outubro.
06
O que isso significa se você usar o Recallr
Conte uma vez e pergunte meses depois. O Recallr lembra seus chats passados, tudo que você salva (artigos, vídeos, posts, PDFs, fotos) e o que pedir para lembrar, e informa a fonte da resposta.
Refazemos o teste sempre que uma nova versão do Recallr é lançada, e a página de benchmark sempre mostra a versão que você está usando. Se quiser testar com sua própria memória, Recallr é grátis para começar.