Recallr meraih skor 86.7% di LongMemEval, tes standar memori jangka panjang.
Setiap pertanyaan menyembunyikan satu detail dalam sekitar 48 obrolan sebelumnya, hampir 490 pesan, lalu memintanya kembali. Itu menempatkan Recallr dalam kisaran sistem memori yang dibangun pengembang AI.
- Satu-satunya aplikasi konsumen dalam daftar ini. Yang lain adalah sistem memori untuk pengembang yang membangun ke produk mereka sendiri.
- Diuji dengan model cepat dan murah untuk penggunaan sehari-hari. Beberapa hasil di sini menggunakan model yang jauh lebih besar.
86.7%104 dari 120 pertanyaan
Dalam cakupan sistem memori yang dikembangkan oleh pengembang AI.
Skor LongMemEval yang dipublikasikan, masing-masing pada hasil terbaik timnya, dengan jenis model AI yang menjawab dan tautan ke sumbernya.
- 1Memori Observasional MastraMemori untuk agen AI (sumber terbuka)94.9%model umum yang kecilRiset Mastra, Feb 2026 · 84,23% dengan model umum yang lebih lama
- 2Pandangan ke belakangMemori untuk agen AI (riset)91.4%model backbone yang lebih besarLatimer et al., arXiv, Des 2025 · 83,6% dengan model open-source 20B
- 3RecallrAplikasi konsumen, seperti saat dirilis86.7%model sehari-hari yang cepatSatu-satunya aplikasi konsumen di siniModel cepat untuk penggunaan sehari-hariBagaimana cara pengujiannya
- 4EmergenceMemMemori untuk agen AI86.0%model internalBlog Emergence AI, Juni 2025 · Tidak bisa direproduksi publik; metode publiknya mendapat skor 82,4% dengan model umum yang lebih lama
- 5SupermemoryAPI Memori untuk aplikasi AI85.2%model umum yang besarPenelitian Supermemory · 84,6% dengan model umum besar lainnya
- 6ZepMemori untuk agen AI71.2%model umum yang lama
- 7Model AI yang membaca seluruh riwayatTidak ada sistem memori: riwayat lengkap ~115.000 token di setiap prompt60.6%model umum yang lama
Ditanyakan dalam obrolan baru, berminggu-minggu atau berbulan-bulan kemudian.
Empat jawaban tepat Recallr, kata demi kata. Orang-orang dan chat mereka sebelumnya adalah bagian dari tes itu sendiri.
Pertama disebutkan about 8 months sebelumnya
Berapa banyak sepeda yang saya miliki saat ini?
Empat. Dalam pesanmu tanggal 2 Oktober, kamu bilang baru saja membeli sepeda hybrid baru, jadi sekarang kamu punya sepeda jalan raya, sepeda gunung, sepeda komuter, dan sepeda hybrid itu — bertambah dari tiga yang kamu ceritakan pada 15 Februari.
Pertama disebutkan about 4 months sebelumnya
Berapa kali saya mencoba membuat Negroni di rumah sejak teman saya Emma mengajarkan caranya?
Sepuluh kali - kamu bilang itu pada Kamis, 15 Oktober 2026. (Pada Juni kamu bilang lima, jadi kamu menggandakannya sejak itu.)
Pertama disebutkan 3 weeks sebelumnya
Apa skor tertinggi saya saat ini di Ticket to Ride?
132 poin - kamu capai pada 4 Okt 2026, saat menyebutnya di obrolan malam permainan Scythe. Itu mengalahkan skor 124 sebelumnya dari 1 Okt.
Pertama disebutkan 4 weeks sebelumnya
Berapa hari yang berlalu antara hari saya mulai menyiram kebun herbal dan hari saya memanen batch pertama herbal segar?
24 hari - kamu mulai menyiram setiap hari pada 23 September 2026, dan panen pertama pada 17 Oktober 2026.
Tesnya, dan bagaimana kami menjalankannya.
- Tesnya
- LongMemEval (Wu et al., ICLR 2025) memeriksa apakah asisten chat mengingat apa yang kamu ceritakan di banyak percakapan: fakta yang kamu sebutkan, hal yang berubah kemudian, tanggal, preferensimu, dan apa yang diberitahukan asisten. Set "S"-nya memberikan setiap pertanyaan tentang 48 percakapan sebelumnya untuk dicari. Makalahnya.
- Recallr
- Versi Recallr saat ini, persis seperti saat dirilis, diuji October 2026. Setiap pertanyaan dimuat dengan chat sebelumnya ke akun baru sebagai chat lama; lalu pertanyaan diajukan di chat baru.
- Pertanyaannya
- 120 dari 500, 20 merata dari masing-masing enam jenisnya, dari versi set yang sudah dibersihkan.
- Model AI
- Model cepat dan hemat biaya menjawab semua pertanyaan; ini salah satu model AI yang digunakan Recallr. Setiap jawaban dinilai secara buta, dengan prompt pengecekan jawaban dan model penilai dari benchmark.
- Sistem lain
- Hasil yang mereka publikasikan sendiri pada tes yang sama, 6 sumber, diperiksa 20 Oktober 2026. Bacalah grafik ini sebagai rentang, bukan perlombaan: setiap sistem menjawab dengan model AI berbeda, dan mereka menjalankan semua 500 pertanyaan.
Bagus untuk diketahui.
Masih penasaran? Tanyakan pada Recallr di pojok, atau kirim email ke support@recallr-ai.org.
01Apa itu LongMemEval?
Tolok ukur standar untuk memori jangka panjang pada asisten obrolan, dipublikasikan di ICLR 2025. Setiap dari 500 pertanyaannya dilengkapi dengan puluhan percakapan sebelumnya dan menanyakan satu detail di dalamnya, jadi asisten harus menemukan dan menggunakan apa yang kamu katakan, bukan menebak.
02Apakah memori Recallr sama di aplikasi?
Ya. Tes dilakukan pada versi Recallr saat ini persis seperti yang dikirim: memori sama, pencarian di chat lama sama, pemeriksaan jawaban sama.
03Mengapa 120 pertanyaan dan bukan semua 500?
Setiap pertanyaan membutuhkan akun sendiri dengan puluhan obrolan sebelumnya, jadi kami menjalankan 20 yang sama dari enam jenis tes. Saat versi baru Recallr dirilis, kami menjalankannya lagi dan halaman ini diperbarui.
Katakan sekali.
Tanyakan berbulan-bulan kemudian.
Simpan yang penting hari ini. Tanyakan saat kamu membutuhkannya.
Mulai gratis. Tidak perlu kartu.