01
एक टेस्ट जो एक सेकंड ब्रेन को जरूर करना चाहिए
एक दूसरा दिमाग उतना ही अच्छा है जितना वह वापस देता है। जो वह स्टोर करता है उससे नहीं: जो वह ढूंढ सकता है और उपयोग कर सकता है, उस दिन जब तुम पूछो। यह मापना आश्चर्यजनक रूप से मुश्किल है, इसलिए LongMemEval महत्वपूर्ण है।
LongMemEval चैट सहायकों में दीर्घकालिक स्मृति के लिए एक बेंचमार्क है, जिसे ICLR 2025 में Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang और Dong Yu ने प्रकाशित किया (पेपर)। इसमें 500 सवाल हैं। हर सवाल एक लंबी बातचीत के इतिहास पर आधारित है, जो एक व्यक्ति और सहायक के बीच हुई है, और उसमें छुपे एक विवरण के बारे में पूछता है।
अपने "S" सेट में, जिसे अधिकांश मेमोरी सिस्टम रिपोर्ट करते हैं, प्रत्येक प्रश्न के साथ लगभग 48 पहले की बातचीत होती हैं: लगभग 115,000 टोकन, या करीब 490 संदेश। आपको जो विवरण चाहिए वह उनमें से एक वाक्य हो सकता है।
02
याद रखने के पाँच तरीके
प्रश्न पाँच क्षमताओं की जांच करते हैं, जो आप एक अच्छी याददाश्त वाले व्यक्ति से चाहते हैं:
- एक तथ्य जो आपने एक बार बताया था। "मेरी बिल्ली का नाम क्या है?", यह सवाल आपने महीनों बाद पूछा था जब आपने इसे संक्षेप में बताया था।
- चैट्स में जोड़ते हुए। "मेरे पास अब कितनी साइकिलें हैं?", जब आपने उन्हें एक-एक करके बताया।
- बदलाव वाली चीज़ें। पिछले महीने का आपका वॉलीबॉल लीग रिकॉर्ड, न कि वसंत का।
- तिथियां और समय। "हर्ब्स लगाने और पहली फसल के बीच कितने दिन हैं?"
- जब कुछ कभी कहा ही नहीं गया, तो पता चलता है। एक ईमानदार "आपने मुझे यह नहीं बताया" बजाय एक निश्चित अनुमान के।
कुछ सवाल आपकी प्राथमिकताओं और सहायक द्वारा पहले कही गई बातों की भी जांच करते हैं, इसलिए यह केवल आपकी बातचीत का एक पक्ष याद नहीं रख सकता।
03
क्यों यह मुश्किल है, बड़े AI मॉडल्स के लिए भी
आप सोच सकते हैं कि जो मॉडल एक साथ 100,000 टोकन पढ़ सकता है, वही समस्या हल कर देगा: बस पूरी हिस्ट्री पेस्ट कर दो। पेपर ने यही टेस्ट किया। उस समय के सबसे ताकतवर AI मॉडल को हर सवाल के लिए पूरी हिस्ट्री दी गई—सिर्फ 60.6% सही। सिर्फ उन कुछ बातचीतों के साथ, जिनमें जवाब था, उसने 87.0% सही किए।
वह अंतर ही बात है। मेमोरी बड़ी विंडो नहीं है; यह उस एक महत्वपूर्ण वाक्य को ढूंढना है, यह जानना कि तथ्य का कौन सा संस्करण नया है, और तारीख का हिसाब लगाना है। यही मेमोरी सिस्टम का काम है, और Recallr इसी के इर्द-गिर्द बना है।
04
Recallr का स्कोर: 86.7%
Recallr ने 120 में से 104 प्रश्न सही उत्तर दिए, 86.7%। हमने इसे ठीक वैसे ही चलाया जैसे यह आता है: हर प्रश्न के पिछले चैट्स को एक नए खाते में पिछले चैट्स के रूप में लोड किया गया, फिर नए चैट में प्रश्न पूछा गया। हर उत्तर को बेंचमार्क के अपने उत्तर-जांच संकेतों और ग्रेडर मॉडल के साथ अंधाधुंध ग्रेड किया गया।
दो ईमानदार बातें। हमने लेखकों द्वारा जारी किए गए सेट के साफ़ किए गए संस्करण से 500 में से 120 सवाल चलाए—हर छह प्रकार के 20-20 सवाल। और Recallr ने इनमें से एक तेज़, किफायती रोज़मर्रा के मॉडल से जवाब दिया, जो इसके AI मॉडल्स में से एक है।
| सिस्टम | स्कोर | AI मॉडल जिसने जवाब दिया | स्रोत |
|---|---|---|---|
| मास्ट्रा पर्यवेक्षण स्मृति | 94.9% | एक छोटा जनरल मॉडल | Mastra रिसर्च, Feb 2026 |
| पश्चातदृष्टि | 91.4% | एक बड़ा बैकबोन मॉडल | Latimer et al., arXiv, दिसंबर 2025 |
| Recallr | 86.7% | एक तेज़ रोज़मर्रा का मॉडल | यह परीक्षण |
| EmergenceMem | 86.0% | एक आंतरिक मॉडल | Emergence AI ब्लॉग, जून 2025 |
| सुपरमेमोरी | 85.2% | एक बड़ा जनरल मॉडल | सुपरमेमोरी रिसर्च |
| Zep | 71.2% | एक पुराना जनरल मॉडल | Rasmussen et al., arXiv, जनवरी 2025 |
| एक AI मॉडल जो पूरी हिस्ट्री पढ़ता है | 60.6% | एक पुराना जनरल मॉडल | Wu et al., ICLR 2025 (बेंचमार्क का पेपर) |
इसे दौड़ के रूप में नहीं, बल्कि एक सीमा के रूप में पढ़ें: हर सिस्टम ने अलग AI मॉडल के साथ जवाब दिया, और बाकी ने सभी 500 प्रश्न चलाए। यह दिखाता है कि Recallr, एक उपभोक्ता ऐप, उसी सीमा में याद रखता है जिस सीमा में मेमोरी सिस्टम AI डेवलपर्स एजेंट बनाते हैं, और एक बड़े मॉडल की तुलना में बहुत बेहतर जो सब कुछ पढ़ता है (60.6%)।
05
क्या याद रखा गया
Recallr के कुछ सही जवाब, शब्दशः। लोग और उनकी पहले की चैट्स टेस्ट के अपने हैं।
"How many bikes do I currently own?"
चार। 2 अक्टूबर के आपके संदेश में आपने कहा था कि आपने अभी एक नया हाइब्रिड बाइक खरीदा है, तो अब आपके पास रोड बाइक, माउंटेन बाइक, कम्यूटर बाइक और वह हाइब्रिड है - जो फरवरी 15 को बताए गए तीन से बढ़कर है।
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
दस बार - तुमने ये मुझे 15 अक्टूबर 2026, गुरुवार को बताया था। (जून में तुमने कहा था पाँच, तो अब दोगुना कर दिया है।)
"What is my current highest score in Ticket to Ride?"
132 अंक - आपने यह 4 अक्टूबर, 2026 को स्काइथ गेम-नाइट चैट के दौरान बताया था। यह आपके 1 अक्टूबर के 124 अंकों से बेहतर था।
06
यदि आप Recallr का उपयोग करते हैं तो इसका क्या मतलब है
एक बार बताएं, और महीनों बाद पूछें। Recallr आपकी पिछली बातचीत, जो कुछ भी आप सेव करते हैं (लेख, वीडियो, पोस्ट, पीडीएफ, फोटो) और जो आप इसे याद रखने के लिए कहते हैं, याद रखता है, और बताता है कि उत्तर कहाँ से आया।
जब भी Recallr का नया संस्करण आता है, हम परीक्षण फिर से चलाते हैं, और benchmark पेज हमेशा आपके उपयोग में संस्करण दिखाता है। यदि आप अपनी याददाश्त पर इसे आज़माना चाहते हैं, तो Recallr मुफ्त में शुरू करें।