01
Ujian satu hal yang harus dilakukan oleh otak kedua
Otak kedua hanya sebaik apa yang bisa diberikannya kembali. Bukan apa yang disimpan: tapi apa yang bisa ditemukan dan digunakan saat kamu minta. Ini sulit diukur, itulah kenapa LongMemEval penting.
LongMemEval adalah tolok ukur memori jangka panjang pada asisten chat, diterbitkan di ICLR 2025 oleh Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang, dan Dong Yu (makalah). Ada 500 pertanyaan. Masing-masing berdasar pada riwayat panjang percakapan antara seseorang dan asisten, dan menanyakan detail yang tersembunyi di dalamnya.
Dalam set "S"-nya, yang dilaporkan sebagian besar sistem memori, setiap pertanyaan disertai sekitar 48 chat sebelumnya: kira-kira 115.000 token, atau hampir 490 pesan. Detail yang kamu butuhkan mungkin satu kalimat di salah satunya.
02
Lima cara mengingat
Pertanyaan menguji lima kemampuan, sama seperti yang kamu harapkan dari seseorang dengan ingatan yang baik:
- Fakta yang pernah kamu sebutkan. "Siapa nama kucing saya?", ditanya beberapa bulan setelah kamu menyebutnya sekilas.
- Menjumlah dari berbagai obrolan. "Berapa banyak sepeda yang saya miliki sekarang?", saat kamu menyebutnya satu per satu.
- Hal yang berubah. Rekor liga voli bulan lalu, bukan yang musim semi.
- Tanggal dan waktu. "Berapa hari antara menanam rempah dan panen pertama?"
- Tahu kapan sesuatu tidak pernah dikatakan. Jujur bilang "kamu tidak bilang itu" daripada menebak dengan yakin.
Beberapa pertanyaan juga memeriksa preferensimu dan apa yang asisten katakan sebelumnya, jadi ia tidak hanya mengingat sisi percakapanmu.
03
Mengapa ini sulit, bahkan untuk model AI besar
Mungkin kamu pikir model yang bisa membaca 100.000 token sekaligus bisa menyelesaikan ini: cukup tempelkan seluruh riwayatnya. Penelitian ini menguji hal itu. Salah satu model AI terkuat saat itu, diberi seluruh riwayat untuk setiap pertanyaan, hanya benar 60,6%. Saat hanya diberi beberapa percakapan yang berisi jawabannya, hasilnya 87,0%.
Itu celahnya. Memori bukan jendela yang besar; melainkan menemukan kalimat yang penting, mengetahui versi fakta terbaru, dan menghitung tanggal. Itu tugas sistem memori, dan itulah yang Recallr bangun.
04
Skor Recallr: 86,7%
Recallr menjawab 104 dari 120 pertanyaan dengan benar, 86,7%. Kami menjalankannya persis seperti versi aslinya: setiap chat sebelumnya dari pertanyaan dimuat ke akun baru sebagai chat lama, lalu pertanyaan diajukan di chat baru. Setiap jawaban dinilai secara blind, menggunakan prompt pemeriksa jawaban dan model penilai dari benchmark.
Dua catatan jujur. Kami menjalankan 120 dari 500 pertanyaan, masing-masing 20 dari enam jenis, dari versi set yang sudah dibersihkan oleh penulisnya. Dan Recallr menjawab dengan model cepat dan hemat biaya, salah satu model AI yang digunakannya.
| Sistem | Skor | Model AI yang menjawab | Sumber |
|---|---|---|---|
| Memori Observasional Mastra | 94.9% | model umum yang kecil | Riset Mastra, Feb 2026 |
| Pandangan ke belakang | 91.4% | model backbone yang lebih besar | Latimer et al., arXiv, Des 2025 |
| Recallr | 86.7% | model sehari-hari yang cepat | Tes ini |
| EmergenceMem | 86.0% | model internal | Blog Emergence AI, Juni 2025 |
| Supermemory | 85.2% | model umum yang besar | Riset Supermemory |
| Zep | 71.2% | model umum yang lama | Rasmussen et al., arXiv, Jan 2025 |
| Model AI yang membaca seluruh riwayat | 60.6% | model umum yang lama | Wu et al., ICLR 2025 (makalah tolok ukur) |
Baca sebagai rentang, bukan lomba: setiap sistem menjawab dengan model AI berbeda, dan yang lain menjalankan semua 500 pertanyaan. Ini menunjukkan Recallr, aplikasi konsumen, mengingat dalam rentang yang sama dengan sistem memori yang dibangun pengembang AI, dan jauh lebih baik daripada model besar yang membaca semuanya (60,6%).
05
Apa yang diingat
Beberapa jawaban tepat Recallr, kata demi kata. Orang dan chat mereka sebelumnya adalah tes itu sendiri.
"How many bikes do I currently own?"
Empat. Dalam pesanmu tanggal 2 Oktober, kamu bilang baru saja membeli sepeda hybrid baru, jadi sekarang kamu punya sepeda jalan raya, sepeda gunung, sepeda komuter, dan sepeda hybrid itu — bertambah dari tiga yang kamu ceritakan pada 15 Februari.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
Sepuluh kali - kamu bilang itu pada Kamis, 15 Oktober 2026. (Pada Juni kamu bilang lima, jadi kamu menggandakannya sejak itu.)
"What is my current highest score in Ticket to Ride?"
132 poin - kamu capai pada 4 Okt 2026, saat menyebutnya di obrolan malam permainan Scythe. Itu mengalahkan skor 124 sebelumnya dari 1 Okt.
06
Apa artinya ini jika kamu menggunakan Recallr
Katakan sekali, dan tanyakan berbulan-bulan kemudian. Recallr mengingat obrolanmu sebelumnya, semua yang kamu simpan (artikel, video, posting, PDF, foto) dan apa yang kamu minta untuk diingat, serta memberi tahu sumber jawaban.
Kami menjalankan tes lagi setiap kali versi baru Recallr dirilis, dan halaman tolok ukur selalu menunjukkan versi yang kamu gunakan. Jika ingin mencoba dengan memorimu sendiri, Recallr gratis untuk mulai.