Что такое LongMemEval и как Recallr оценивает?

Второй мозг ценен не тем, что хранит, а тем, что может найти и использовать, когда ты попросишь. Это сложно измерить, поэтому важен LongMemEval.

LongMemEval — это тест на долговременную память чат-помощников, опубликованный на ICLR 2025 Ди Ву, Хонгвэем Вангом, Вэньхао Ю, Ювэй Чжаном, Кай-Вэй Чангом и Донг Ю (статья). Включает 500 вопросов. Каждый основан на длинной истории бесед между человеком и помощником и спрашивает о деталях, скрытых в ней.

В наборе «S», который чаще всего используют системы памяти, к каждому вопросу прилагается около 48 предыдущих чатов: примерно 115 000 токенов или около 490 сообщений. Нужная деталь может быть в одном предложении из них.

Вопросы проверяют пять навыков — те же, что ты бы хотел от человека с хорошей памятью:

• Факт, который ты упомянул однажды. «Как зовут моего кота?» — спросили спустя месяцы после того, как ты случайно сказал имя.
• Суммирование по чатам. «Сколько у меня сейчас велосипедов?» — когда ты упоминал их по одному.
• То, что изменилось. Твой результат в волейбольной лиге в прошлом месяце, а не весенний.
• Даты и время. «Сколько дней прошло между посадкой трав и первым урожаем?»
• Знает, когда что-то не говорилось. Честное «ты мне этого не говорил» вместо уверенного предположения.

Некоторые вопросы учитывают твои предпочтения и то, что ассистент говорил ранее, поэтому он помнит не только твою часть разговора.

Кажется, что модель, способная читать 100 000 токенов сразу, решит проблему: просто вставь всю историю. В статье проверили именно это. Одна из самых сильных моделей того времени, получившая всю историю для каждого вопроса, ответила правильно в 60,6% случаев. Если дать только несколько разговоров с ответом, результат — 87,0%.

В этом и суть. Память — это не просто большой объём; это найти одно важное предложение, понять, какая версия факта самая свежая, и правильно посчитать даты. Это задача системы памяти, и именно для этого создан Recallr.

Recallr правильно ответил на 104 из 120 вопросов, 86,7%. Мы тестировали его в исходном виде: предыдущие чаты каждого вопроса загружались в новый аккаунт как история, затем вопрос задавался в новом чате. Все ответы оценивались вслепую с помощью встроенных подсказок и модели оценщика.

Два честных замечания. Мы взяли 120 из 500 вопросов — по 20 из каждого из шести типов — из очищенной версии набора, который выложили авторы. Recallr отвечал быстрой и доступной моделью для повседневных задач — одной из тех, что он использует.

Смотри на это как на диапазон, а не гонку: каждая система отвечала с разной моделью ИИ, остальные прошли все 500 вопросов. Это показывает, что Recallr, потребительское приложение, запоминает на уровне систем памяти, на которых строят агентов разработчики ИИ, и гораздо лучше, чем большая модель, читающая всё (60,6%).

Несколько точных ответов Recallr дословно. Люди и их предыдущие диалоги — это тест.

"How many bikes do I currently own?"

Четыре. В твоём сообщении от 2 октября ты сказал, что только что купил гибридный велосипед, так что теперь у тебя есть шоссейный, горный, городской и этот гибрид — раньше было три, как ты рассказывал 15 февраля.

"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"

Десять раз — ты говорил это в четверг, 15 октября 2026. (В июне ты говорил пять, так что удвоил.)

"What is my current highest score in Ticket to Ride?"

132 очка — ты набрал их 4 октября 2026 во время разговора о настольной игре Scythe. Это побило твой предыдущий рекорд в 124 очка от 1 октября.

Скажи один раз, а спроси через месяцы. Recallr помнит твои прошлые чаты, всё, что ты сохранил (статьи, видео, посты, PDF, фото), и что ты просил запомнить, а ещё укажет источник ответа.

Мы повторяем тест при каждом обновлении Recallr, а страница с бенчмарком всегда показывает версию, которую вы используете. Если хотите проверить на своих данных, Recallr можно начать бесплатно.