01
La prueba de lo que un segundo cerebro debe hacer
Un segundo cerebro vale lo que devuelve, no lo que almacena: lo que puede encontrar y usar el día que preguntas. Eso es difícil de medir, por eso LongMemEval es importante.
LongMemEval es un referente para la memoria a largo plazo en asistentes de chat, publicado en ICLR 2025 por Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang y Dong Yu (el artículo). Tiene 500 preguntas. Cada una se basa en un largo historial de conversaciones previas entre una persona y un asistente, y pregunta por un detalle oculto en ellas.
En su conjunto “S”, el que reportan la mayoría de sistemas de memoria, cada pregunta viene con unas 48 conversaciones anteriores: cerca de 115,000 tokens, o casi 490 mensajes. El detalle que necesitas puede ser una frase en alguna de ellas.
02
Cinco formas de recordar
Las preguntas evalúan cinco habilidades, las mismas que esperarías de una persona con buena memoria:
- Un dato que mencionaste una vez. “¿Cómo se llama mi gato?”, preguntado meses después de que lo dijeras de pasada.
- Sumando en varias charlas. “¿Cuántas bicicletas tengo ahora?”, cuando las mencionaste una a una.
- Cosas que cambiaron. Tu récord en la liga de voleibol del mes pasado, no el de primavera.
- Fechas y tiempo. “¿Cuántos días pasaron entre plantar las hierbas y la primera cosecha?”
- Sabe cuándo nunca se dijo. Un honesto "no me dijiste eso" en vez de una suposición segura.
Algunas preguntas también verifican tus preferencias y lo que el asistente dijo antes, así que no solo recuerda tu parte de la conversación.
03
Por qué es difícil, incluso para grandes modelos de IA
Quizá pienses que un modelo capaz de leer 100.000 tokens de una vez lo soluciona: solo pega todo el historial. El estudio probó justo eso. Uno de los modelos de IA más potentes del momento, con todo el historial para cada pregunta, acertó el 60,6%. Si solo tenía las pocas conversaciones con la respuesta, acertó el 87,0%.
Esa brecha es el punto clave. La memoria no es una ventana lo suficientemente grande; es encontrar la frase que importa, saber qué versión de un dato es la más reciente y hacer las cuentas con las fechas. Ese es el trabajo de un sistema de memoria, y en eso se basa Recallr.
04
Puntuación de Recallr: 86,7 %
Recallr respondió correctamente 104 de 120 preguntas, un 86,7%. Se probó tal cual se entrega: los chats previos de cada pregunta se cargaron en una cuenta nueva como conversaciones anteriores, luego se hizo la pregunta en un chat nuevo. Cada respuesta se evaluó a ciegas con los prompts y modelo de evaluación del benchmark.
Dos notas sinceras. Usamos 120 de las 500 preguntas, 20 de cada uno de los seis tipos, de la versión limpia del set publicada por los autores. Y Recallr respondió con un modelo rápido y económico, uno de los modelos de IA que usa.
| Sistema | Puntuación | Modelo de IA que respondió | Fuente |
|---|---|---|---|
| Memoria Observacional Mastra | 94.9% | un modelo general pequeño | Investigación Mastra, feb 2026 |
| Perspectiva | 91.4% | un modelo base más grande | Latimer et al., arXiv, dic 2025 |
| Recallr | 86.7% | un modelo rápido de uso diario | Esta prueba |
| EmergenceMem | 86.0% | un modelo interno | Blog Emergence AI, junio 2025 |
| Supermemoria | 85.2% | un modelo general grande | Investigación Supermemory |
| Zep | 71.2% | un modelo general antiguo | Rasmussen et al., arXiv, ene 2025 |
| Un modelo de IA leyendo todo el historial | 60.6% | un modelo general antiguo | Wu et al., ICLR 2025 (el artículo del benchmark) |
Léelo como un rango, no como una carrera: cada sistema respondió con un modelo de IA distinto, y los demás hicieron las 500 preguntas. Esto muestra que Recallr, una app para consumidores, recuerda en el mismo rango que los sistemas de memoria en los que los desarrolladores de IA basan sus agentes, y mucho mejor que un gran modelo que lee todo (60,6%).
05
Lo que recordó
Algunas respuestas correctas de Recallr, palabra por palabra. Las personas y sus chats previos son del propio test.
"How many bikes do I currently own?"
Cuatro. En tu mensaje del 2 de octubre dijiste que acababas de comprar una bici híbrida, así que ahora tienes una de carretera, una de montaña, una para el día a día y esa híbrida, subiendo de las tres que me contaste el 15 de febrero.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
Diez veces: me lo dijiste el jueves 15 de octubre de 2026. (En junio decías que eran cinco, así que lo has duplicado desde entonces).
"What is my current highest score in Ticket to Ride?"
132 puntos — la conseguiste el 4 de octubre de 2026, cuando lo mencionaste en la charla de la noche de juegos de Scythe. Superó tu anterior récord de 124 del 1 de octubre.
06
Qué significa esto si usas Recallr
Díselo una vez y pregunta meses después. Recallr recuerda tus chats pasados, todo lo que guardas (artículos, videos, posts, PDFs, fotos) y lo que le pides recordar, y te dice de dónde viene la respuesta.
Volvemos a hacer la prueba cada vez que sale una nueva versión de Recallr, y la página de referencia siempre muestra la versión que usas. Si quieres probarlo con tu propia memoria, Recallr es gratis para empezar.