01
Bài kiểm tra cho điều quan trọng nhất của một bộ não thứ hai
Bộ não thứ hai chỉ tốt khi nó trả lại được điều bạn cần. Không phải chỉ lưu trữ: mà là tìm và dùng được khi bạn hỏi. Điều này khó đo, nên LongMemEval rất quan trọng.
LongMemEval là chuẩn đánh giá trí nhớ dài hạn cho trợ lý chat, được công bố tại ICLR 2025 bởi Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang và Dong Yu (bài báo). Nó gồm 500 câu hỏi. Mỗi câu dựa trên lịch sử dài các cuộc trò chuyện trước giữa người dùng và trợ lý, hỏi về một chi tiết ẩn trong đó.
Trong bộ "S" của nó, bộ mà hầu hết hệ thống nhớ báo cáo, mỗi câu hỏi đi kèm khoảng 48 cuộc trò chuyện trước đó: khoảng 115.000 token, gần 490 tin nhắn. Chi tiết bạn cần có thể chỉ là một câu trong số đó.
02
Năm cách ghi nhớ
Các câu hỏi kiểm tra năm khả năng, giống như bạn mong muốn ở một người có trí nhớ tốt:
- Một sự thật bạn từng nhắc đến. "Tên con mèo của tôi là gì?", câu hỏi được đặt ra vài tháng sau khi bạn từng nói qua.
- Tổng hợp qua các cuộc trò chuyện. "Hiện tôi sở hữu bao nhiêu chiếc xe đạp?", khi bạn nhắc từng chiếc một.
- Những thứ đã thay đổi. Thành tích của bạn trong giải bóng chuyền tháng trước, không phải mùa xuân.
- Ngày và thời gian. "Bao nhiêu ngày giữa lúc trồng thảo mộc và thu hoạch đầu tiên?"
- Biết khi nào chưa từng nói. Một câu thật thà “bạn chưa nói với tôi điều đó” thay vì đoán bừa.
Một số câu hỏi cũng kiểm tra sở thích của bạn và những gì trợ lý đã nói trước đó, nên nó không chỉ nhớ một phía cuộc trò chuyện của bạn.
03
Tại sao điều này khó, ngay cả với các mô hình AI lớn
Bạn có thể nghĩ một mô hình đọc được 100.000 token cùng lúc sẽ giải quyết được: chỉ cần dán toàn bộ lịch sử vào. Bài báo đã kiểm tra đúng điều đó. Một trong những mô hình AI mạnh nhất lúc đó, khi được cung cấp toàn bộ lịch sử cho mỗi câu hỏi, chỉ trả lời đúng 60,6%. Khi chỉ được xem vài đoạn hội thoại chứa đáp án, nó đạt 87,0%.
Khoảng trống đó chính là điểm mấu chốt. Bộ nhớ không phải là một cửa sổ lớn; mà là tìm câu quan trọng, biết phiên bản thông tin mới nhất, và tính toán ngày tháng. Đó là nhiệm vụ của hệ thống nhớ, và Recallr được xây dựng dựa trên điều đó.
04
Điểm số của Recallr: 86,7%
Recallr trả lời đúng 104 trên 120 câu hỏi, đạt 86,7%. Chúng tôi chạy nó nguyên bản: các cuộc trò chuyện trước của mỗi câu hỏi được tải vào tài khoản mới như lịch sử, rồi câu hỏi được đặt trong cuộc trò chuyện mới. Mỗi câu trả lời được chấm điểm mù bằng bộ công cụ kiểm tra và mô hình chấm điểm chuẩn.
Hai ghi chú trung thực. Chúng tôi đã chạy 120/500 câu hỏi, chia đều 20 câu cho mỗi loại trong sáu loại, từ bản đã làm sạch mà tác giả công bố. Và Recallr trả lời bằng một mô hình nhanh, tiết kiệm chi phí – một trong các mô hình AI mà Recallr sử dụng.
| Hệ thống | Điểm số | Mô hình AI đã trả lời | Nguồn |
|---|---|---|---|
| Bộ nhớ quan sát Mastra | 94.9% | mô hình tổng quát nhỏ | Nghiên cứu Mastra, tháng 2 năm 2026 |
| Nhìn lại | 91.4% | một mô hình nền lớn hơn | Latimer và cộng sự, arXiv, tháng 12 năm 2025 |
| Recallr | 86.7% | mô hình nhanh hằng ngày | Bài kiểm tra này |
| EmergenceMem | 86.0% | một mô hình nội bộ | Blog Emergence AI, tháng 6 năm 2025 |
| Siêu trí nhớ | 85.2% | mô hình tổng quát lớn | Nghiên cứu Supermemory |
| Zep | 71.2% | mô hình tổng quát cũ | Rasmussen và cộng sự, arXiv, tháng 1 năm 2025 |
| Một mô hình AI đọc toàn bộ lịch sử | 60.6% | mô hình tổng quát cũ | Wu và cộng sự, ICLR 2025 (bài báo chuẩn đánh giá) |
Xem như một phạm vi, không phải cuộc đua: mỗi hệ thống trả lời bằng một mô hình AI khác nhau, và các hệ thống khác chạy đủ 500 câu hỏi. Điều này cho thấy Recallr, một ứng dụng dành cho người dùng, ghi nhớ trong phạm vi tương tự như các hệ thống trí nhớ mà các nhà phát triển AI xây dựng, và tốt hơn nhiều so với mô hình lớn đọc hết mọi thứ (60,6%).
05
Những gì nó ghi nhớ
Một vài câu trả lời đúng của Recallr, nguyên văn. Người dùng và các cuộc trò chuyện trước đó là bài kiểm tra thực tế.
"How many bikes do I currently own?"
Bốn chiếc. Trong tin nhắn ngày 2 tháng 10, bạn nói vừa mua một chiếc xe đạp hybrid mới, vậy là giờ bạn có xe đạp đường trường, xe đạp địa hình, xe đạp đi làm và chiếc hybrid đó – tăng lên từ ba chiếc bạn kể vào ngày 15 tháng 2.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
Mười lần – bạn đã nói với tôi điều đó vào thứ Năm, ngày 15 tháng 10 năm 2026. (Trước đó vào tháng Sáu bạn nói là năm, vậy là bạn đã tăng gấp đôi.)
"What is my current highest score in Ticket to Ride?"
132 điểm - bạn đạt được vào ngày 4 tháng 10 năm 2026, khi bạn nhắc đến trong cuộc trò chuyện đêm chơi Scythe. Điểm này vượt qua 124 điểm trước đó vào ngày 1 tháng 10.
06
Điều này có ý nghĩa gì khi bạn dùng Recallr
Nói một lần, hỏi lại sau nhiều tháng. Recallr nhớ các cuộc trò chuyện trước, mọi thứ bạn lưu (bài viết, video, bài đăng, PDF, ảnh) và những gì bạn yêu cầu nó ghi nhớ, đồng thời cho biết nguồn câu trả lời.
Chúng tôi chạy lại bài kiểm tra mỗi khi có phiên bản mới của Recallr, và trang điểm chuẩn luôn hiển thị phiên bản bạn đang dùng. Nếu muốn thử với ký ức của riêng bạn, Recallr miễn phí để bắt đầu.