什麼是 LongMemEval，Recallr 如何評分？

第二大腦的價值在於它能回饋什麼，而非僅是儲存什麼。它能在你提問當天找到並運用資料。這點難以衡量，LongMemEval 因此很重要。

LongMemEval 是一個針對聊天助理長期記憶的基準測試，由 Di Wu、Hongwei Wang、Wenhao Yu、Yuwei Zhang、Kai-Wei Chang 和 Dong Yu 於 ICLR 2025 發表（論文）。它包含 500 個問題，每個問題都基於人與助理之間長時間的對話歷史，詢問其中某個細節。

在它的「S」集合中，大多數記憶系統報告，每個問題附帶約 48 次早期對話：約 115,000 個標記，或接近 490 則訊息。你需要的細節可能只是一句話。

這些問題測試五項能力，正是你希望記憶力好的人具備的：

• 你曾提過的一個事實。「我的貓叫什麼名字？」這是在你幾個月前順帶提到後問的。
• 跨聊天累計。「我現在擁有多少輛自行車？」當你一次提到一輛時。
• 變動的事物。 你上個月的排球聯賽紀錄，而非春季的。
• 日期與時間。「種植香草與首次收成間隔多少天？」
• 知道什麼從未說過。 誠實告訴你「你沒告訴我這件事」，而不是自信猜測。

有些問題也會檢查你的偏好及助理先前的回應，因此它不只記得你的對話內容。

你可能會想，能一次讀十萬個 token 的模型就能解決這問題：直接貼上全部歷史紀錄就好。論文實測過這點。當時最強的 AI 模型之一，拿到每題的完整歷史，只答對了 60.6%。如果只給包含答案的幾段對話，正確率則有 87.0%。

那個空白正是重點。記憶不是一個夠大的視窗；而是找到關鍵句子，知道哪個版本的資訊是最新，並計算日期差異。這就是記憶系統的工作，也是 Recallr 的核心。

Recallr 正確回答了 120 題中 104 題，準確率為 86.7%。我們以原始出貨狀態測試：每題先將先前對話載入新帳號作為歷史對話，再在新對話中提問。所有回答均由基準測試的自動評分模型盲測評分。

兩點誠實說明：我們從作者公開的清理版題庫中，隨機抽取 6 類各 20 題共 120 題測試。Recallr 用一個快速、低成本的日常模型作答，這是其眾多 AI 模型之一。

以範圍而非競賽來看：每個系統都用不同的 AI 模型回答，其他系統則回答全部 500 題。這顯示 Recallr 作為消費者應用，記憶力與 AI 開發者打造的記憶系統相當，且遠勝於單一大型模型閱讀全部內容（60.6%）。

Recallr 的幾個正確答案，逐字呈現。測試中的人物與他們的早期聊天即為依據。

"How many bikes do I currently own?"

四台。 你在10月2日的訊息中說你剛買了一台新混合車，現在你有公路車、登山車、通勤車和那台混合車——比你2月15日告訴我的三台多了一台。

"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"

十次——你在 2026 年 10 月 15 日星期四告訴我這個。（六月時你說是五次，現在已經翻倍了。）

"What is my current highest score in Ticket to Ride?"

132分——你在2026年10月4日的Scythe遊戲之夜聊天時提到的。這比你10月1日的124分還高。

說一次，幾個月後再問。Recallr 記得你過去的對話、所有收藏（文章、影片、貼文、PDF、照片）及你要求它記住的內容，並告訴你答案來源。

每當Recallr推出新版本，我們都會重新測試，基準頁面會顯示你使用的版本。想試試自己的記憶，Recallr免費開始。