跳转到内容
基准测试 · LongMemEval

Recallr在LongMemEval长期记忆标准测试中得分86.7%。

每个问题都会在大约 48 次早期聊天中隐藏一个细节,接近 490 条消息,然后让你找回它。这让 Recallr 处于 AI 开发者构建的记忆系统范围内。

  • 这份名单中唯一的消费者应用,其他都是为开发者打造的记忆系统,供他们集成到自己的产品中。
  • 使用快速、低成本的日常模型测试。一些结果用了更大的模型。

86.7%104 / 120 个问题

LongMemEval_SRecallr 当前版本,测试于 October 2026
对比情况

在记忆系统 AI 开发者构建的范围内。

公布 LongMemEval 各队最佳成绩,标明所用 AI 模型类型及来源链接。

  1. 1
    Mastra 观察记忆面向AI代理的记忆(开源)
    94.9%小型通用模型
    Mastra 研究,2026年2月 · 用旧版通用模型得分 84.23%
  2. 2
    事后回顾面向AI代理的记忆(研究)
    91.4%更大规模的骨干模型
    Latimer 等,arXiv,2025年12月 · 83.6% 凭借开源20B模型
  3. 3
    Recallr消费者应用,按出厂配置
    86.7%快速日常模型
    这里唯一的消费者应用快速的日常模型测试方式
  4. 4
    EmergenceMem面向AI代理的记忆
    86.0%内部模型
    Emergence AI 博客,2025年6月 · 不可公开复现;其公开方法用旧版通用模型得分 82.4%
  5. 5
    超级记忆面向AI应用的记忆API
    85.2%大型通用模型
    超级记忆研究 · 用另一款大型通用模型得分 84.6%
  6. 6
    Zep面向AI代理的记忆
    71.2%旧版通用模型
  7. 7
    AI 模型读取全部历史记录无记忆系统:每次提示都包含完整约115,000标记的历史记录
    60.6%旧版通用模型
它记住了什么

几周或几个月后在新聊天中提问。

Recallr 四个准确回答,逐字呈现。人物和之前的聊天均为测试内容。

  • 之前提到的 about 8 months

    我目前拥有多少辆自行车?

    四辆。 你在10月2日的消息里说刚买了辆新混合自行车,现在你有公路车、山地车、通勤车和那辆混合车——比你2月15日告诉我的三辆多了一辆。

  • 之前提到的 about 4 months

    自从朋友 Emma 教我做 Negroni 以来,我在家尝试做了多少次?

    十次——你在 2026 年 10 月 15 日星期四告诉我这个。(六月时你说是五次,所以你已经翻倍了。)

  • 之前提到的 3 weeks

    我在《Ticket to Ride》中的最高分是多少?

    132分——你在2026年10月4日的Scythe游戏之夜聊天时提到的,这比你10月1日的124分更高。

  • 之前提到的 4 weeks

    从我开始给草本植物浇水到收获第一批新鲜草本植物,经过了多少天?

    24天——你从2026年9月23日开始每天浇水,10月17日收获了第一批。

测试方式

测试及我们的执行方式。

测试
LongMemEval(Wu 等,ICLR 2025)检测聊天助手是否能记住你多次对话中告诉它的内容:你提到的事实、后来变化的事项、日期、偏好,以及它告诉你的内容。它的“S”集为每个问题提供了关于48早期对话的搜索。论文链接。
Recallr
Recallr 当前版本,按出厂配置,测试于 October 2026。每个问题的早期聊天内容已作为历史聊天导入新账户;然后在新聊天中提问。
问题列表
120 条,共 500 条,六种类型中各均匀分布 20 条,来自清理后的数据集。
AI 模型
一个快速、低成本的日常模型回答了所有问题——这是 Recallr 用到的多种 AI 模型之一。每个答案都用基准自带的评分提示和评分模型盲测打分。
其他系统
他们在同一测试上的公开结果,6 个来源,数据截止 2026 年 10 月 20 日。请将图表视为范围而非竞赛:每个系统使用不同的 AI 模型,且均回答了全部 500 个问题。
问题

值得了解。

还有疑问?点击角落的 Recallr,或写信至 support@recallr-ai.org。

01什么是 LongMemEval?

ICLR 2025 发布的聊天助手长期记忆标准测试。500个问题均附带数十段早期对话,考察助手能否找到并利用你说过的细节,而非猜测。

02Recallr 的记忆在应用中一样吗?

是的。测试在当前版本 Recallr 上进行,使用相同记忆、相同聊天搜索和相同答案验证。

03为什么是120个问题,而不是全部500个?

每个问题都需要一个包含数十次早期聊天的账户,因此我们从测试的六种类型中各运行了均等的 20 次。当 Recallr 发布新版本时,我们会重新运行并更新此页面。

你的个人AI第二大脑

说一次。
数月后再问。

保存今天重要的内容,所需时随时提问。

免费开始,无需信用卡。