LongMemEval nedir ve Recallr nasıl puan verir?

İkinci beyin, sadece geri verdiği kadar iyidir. Sakladığı değil: sorduğunda bulup kullanabildiği. Bu ölçülmesi zor bir şey, işte bu yüzden LongMemEval önemli.

LongMemEval, sohbet asistanlarında uzun süreli hafızayı ölçen bir kıyaslama testidir, Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang ve Dong Yu tarafından ICLR 2025’te yayımlanmıştır (makale). 500 sorudan oluşur. Her soru, bir kişi ile asistan arasındaki uzun geçmişte gömülü bir detayı sorar.

En çok hafıza sisteminin rapor ettiği “S” setinde, her sorunun yaklaşık 48 önceki sohbeti var: yaklaşık 115.000 token veya 490 mesaja yakın. İhtiyacın olan detay, bunlardan birindeki tek bir cümle olabilir.

Sorular, iyi hafızaya sahip birinden bekleyeceğin beş yeteneği test eder:

• Bir kez bahsettiğin bir gerçek. "Kedimin adı ne?" diye aylar sonra sordun.
• Sohbetlerde toplama. "Şu anda kaç bisikletim var?" diye tek tek bahsettiğinde.
• Değişen şeyler. Geçen ayki voleybol ligi kaydın, bahar aylarındaki değil.
• Tarih ve zaman. "Bitkileri ekmekle ilk hasat arasında kaç gün var?"
• Hiç söylenmediğini bilmek. Kesin bir tahmin yerine dürüstçe “bunu bana söylemedin” demek.

Bazı sorular tercihlerine ve asistanın daha önce söylediklerine de bakar, böylece sadece senin tarafını değil, konuşmanın tamamını hatırlayabilir.

100.000 token’ı birden okuyabilen bir modelin bu işi çözeceğini düşünebilirsin: tüm geçmişi yapıştırmak yeterli gibi. Makalede tam olarak bu test edildi. O dönemin en güçlü yapay zeka modellerinden biri, her soruya tam geçmiş verilerek test edildiğinde %60,6 doğru yaptı. Sadece cevabın olduğu birkaç konuşma verildiğinde ise %87,0’a çıktı.

O boşluk önemli. Hafıza yeterince geniş bir pencere değil; önemli cümleyi bulmak, bilginin en güncel versiyonunu bilmek ve tarih hesaplaması yapmak gerekiyor. İşte hafıza sisteminin görevi bu ve Recallr bunun üzerine kurulu.

Recallr, 120 sorudan 104'üne doğru yanıt verdi, başarı oranı %86,7. Testler, ürünün varsayılan haliyle yapıldı: her sorunun önceki sohbetleri yeni bir hesaba geçmiş sohbet olarak yüklendi, sonra soru yeni bir sohbette soruldu. Yanıtlar, benchmark’ın kendi kontrol ve değerlendirme modeliyle kör olarak puanlandı.

İki dürüst not: 500 sorunun temizlenmiş setinden altı türün her birinden 20’şer olmak üzere toplam 120’sini çalıştırdık. Recallr ise hızlı ve uygun fiyatlı bir günlük modelle yanıtladı; kullandığı AI modellerinden biri.

Bunu bir yarış değil, aralık olarak oku: her sistem farklı bir AI modeliyle yanıtladı ve diğerleri tüm 500 soruyu çalıştırdı. Gösterdiği şey, Recallr’ın, tüketici uygulaması olarak, AI geliştiricilerin ajanlar için kurduğu hafıza sistemleriyle benzer aralıkta hatırlaması ve her şeyi okuyan büyük bir modelden (%60,6) çok daha iyi olmasıdır.

Recallr’ın doğru yanıtlarından birkaç kelimesi kelimesine. İnsanlar ve önceki sohbetleri testin kendisine ait.

"How many bikes do I currently own?"

Dört. 2 Ekim mesajında yeni bir hibrit bisiklet aldığını söyledin, böylece şimdi yol bisikleti, dağ bisikleti, işe gidip gelme bisikleti ve o hibrit bisikletin var – 15 Şubat'ta bana söylediğin üç bisikletten fazlası.

"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"

On kez - bunu 15 Ekim 2026 Perşembe günü bana söyledin. (Haziran’da beş demiştin, yani iki katına çıkarmışsın.)

"What is my current highest score in Ticket to Ride?"

132 puan - bunu 4 Ekim 2026'da Scythe oyun gecesi sohbetinde söyledin. Önceki 1 Ekim'deki 124 puanı geçmiş oldu.

Bir kez söyle, aylar sonra sor. Recallr geçmiş sohbetlerini, kaydettiklerini (makaleler, videolar, gönderiler, PDF’ler, fotoğraflar) ve hatırlamasını istediğin her şeyi hatırlar, yanıtın kaynağını da söyler.

Recallr’ın yeni bir sürümü çıktığında testi tekrar yapıyoruz ve kıyaslama sayfası kullandığın sürümü her zaman gösterir. Kendi anında denemek istersen, Recallr ücretsiz olarak başlayabilirsin.