LongMemEvalとは？Recallrのスコアは？

セカンドブレインは、保存したものではなく、取り出せるものの価値で決まる。LongMemEvalが重要なのはそのため。

LongMemEvalは、チャットアシスタントの長期記憶を評価するベンチマークで、Di Wu、Hongwei Wang、Wenhao Yu、Yuwei Zhang、Kai-Wei Chang、Dong YuによってICLR 2025で発表されました（論文）。500問の質問があり、それぞれが人とアシスタントの長い会話履歴に基づいていて、その中に埋もれた細かい情報を問います。

多くの記憶システムが報告する「S」セットでは、各質問に約48件の過去チャットが付属：約115,000トークン、約490メッセージ。必要な詳細はその中の一文かもしれません。

質問は記憶力の良い人に求める５つの能力を試します：

• 一度だけ言ったこと。 「うちの猫の名前は？」と数か月後に聞かれました。
• チャットをまたいで合計。 「今、何台の自転車を持ってる？」と一台ずつ話していた時。
• 変わったこと。 春ではなく先月のバレーボールリーグの記録。
• 日付と時間。 「ハーブの植え付けから初収穫まで何日？」
• 言われていないことを知る。 自信満々の推測ではなく、正直に「それは教えてもらっていません」と伝えます。

質問の中には、あなたの好みやアシスタント自身が以前に言ったことも確認するものがあり、会話のあなた側だけを覚えているわけではありません。

10万トークンを一度に読めるモデルなら解決すると思うかもしれませんが、論文ではまさにそれを検証しています。当時最強クラスのAIモデルに全履歴を渡しても、正答率は60.6%。答えが含まれる会話だけを渡した場合は87.0%でした。

そのギャップがポイントです。記憶は十分な窓ではなく、重要な一文を見つけ、どの事実のバージョンが最新かを知り、日付の計算をすること。これが記憶システムの役割で、Recallrはそこに基づいています。

Recallrは120問中104問に正解し、正答率は86.7%でした。出荷時のままの状態でテストを行い、各質問の過去のチャットは新しいアカウントに過去チャットとして読み込まれ、その後新しいチャットで質問が行われました。すべての回答は、ベンチマークの回答チェック用プロンプトと採点モデルを使ってブラインドで評価されました。

正直な話を2つ。著者が公開したクリーンなデータセットから、全500問のうち120問（6種類×20問ずつ）を使いました。そしてRecallrは、普段使いできる高速・低コストなAIモデルで回答しました（Recallrが使うAIモデルのひとつです）。

競争ではなく範囲として読んでください：各システムは異なるAIモデルで回答し、他は全500問を実施。示すのは、Recallrという消費者向けアプリが、AI開発者がエージェント構築に使う記憶システムと同程度の記憶力を持ち、大規模モデルがすべてを読むよりはるかに優れている（60.6%）。

Recallrの正解例をいくつか、言葉通りに。登場人物と過去のチャットはテストのもの。

"How many bikes do I currently own?"

4つです。 10月2日のメッセージで新しいハイブリッドバイクを買ったと言っていましたね。つまり、今はロードバイク、マウンテンバイク、通勤用バイク、そしてそのハイブリッドの4台になりました。2月15日に教えてくれた3台から増えています。

"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"

10回です—2026年10月15日木曜日にそう言ってくれました。（6月には5回と言っていたので、倍に増えましたね。）

"What is my current highest score in Ticket to Ride?"

132点です。2026年10月4日にScytheのゲームナイトで話していた時に出しました。10月1日の124点を超えました。

一度伝えれば、数ヶ月後にまた聞ける。Recallrは過去のチャットや保存した記事、動画、投稿、PDF、写真、記憶してほしいことを覚え、回答の出典も教えます。

Recallrの新バージョンがリリースされるたびにテストを再実行し、ベンチマークページで使用中のバージョンを常に確認できます。自分の記憶で試したい場合は、Recallrは無料で始められます。