01
وہ ایک چیز جسے ایک دوسرا دماغ لازمی کرنا چاہیے کا امتحان
دوسرا دماغ اتنا ہی اچھا ہے جتنا وہ واپس دیتا ہے۔ جو وہ ذخیرہ کرتا ہے اس سے نہیں: جو وہ تلاش کر سکتا ہے اور استعمال کر سکتا ہے، جب آپ پوچھیں۔ یہ ناپنا حیرت انگیز طور پر مشکل ہے، اسی لیے LongMemEval اہم ہے۔
LongMemEval چیٹ اسسٹنٹس میں طویل مدتی یادداشت کے لیے ایک معیار ہے، جو ICLR 2025 میں Di Wu، Hongwei Wang، Wenhao Yu، Yuwei Zhang، Kai-Wei Chang اور Dong Yu نے شائع کیا (مقالہ)۔ اس میں 500 سوالات ہیں۔ ہر سوال ایک طویل تاریخ پر مبنی ہوتا ہے جو ایک شخص اور اسسٹنٹ کے درمیان پہلے کی گفتگوؤں کی ہوتی ہے، اور اس میں کہیں چھپی ہوئی ایک تفصیل کے بارے میں پوچھا جاتا ہے۔
اپنے "S" سیٹ میں، جو زیادہ تر میموری سسٹمز رپورٹ کرتے ہیں، ہر سوال کے ساتھ تقریباً 48 پہلے کے چیٹس ہوتے ہیں: تقریباً 115,000 ٹوکنز، یا قریب 490 پیغامات۔ آپ کو جو تفصیل چاہیے وہ ان میں سے کسی ایک جملے میں ہو سکتی ہے۔
02
یاد رکھنے کے پانچ طریقے
سوالات پانچ صلاحیتوں کا امتحان لیتے ہیں، وہی جو آپ ایک اچھی یادداشت والے شخص سے چاہتے ہیں:
- ایک حقیقت جو آپ نے کبھی بتائی تھی۔ "میری بلی کا نام کیا ہے؟"، چند مہینے بعد پوچھا گیا جب آپ نے اسے گذشتہ بات چیت میں ذکر کیا تھا۔
- مختلف چیٹس میں جمع کیا گیا۔ "میرے پاس اب کتنی بائیکس ہیں؟"، جب آپ نے انہیں ایک ایک کر کے ذکر کیا۔
- وہ چیزیں جو بدل گئی ہیں۔ آپ کا والی بال لیگ میں پچھلے مہینے کا ریکارڈ، بہار کا نہیں۔
- تاریخیں اور وقت۔ "جڑی بوٹیوں کی بوائی اور پہلی فصل کے درمیان کتنے دن ہیں؟"
- جاننا کہ کب کچھ کہا ہی نہیں گیا۔ ایک ایماندار "آپ نے مجھے یہ نہیں بتایا"، بجائے کسی پراعتماد اندازے کے۔
کچھ سوالات آپ کی ترجیحات اور اسسٹنٹ کی پہلے کی باتوں کو بھی چیک کرتے ہیں، اس لیے یہ صرف آپ کی بات کو یاد نہیں رکھ سکتا۔
03
یہ مشکل کیوں ہے، یہاں تک کہ بڑے AI ماڈلز کے لیے بھی
آپ سوچ سکتے ہیں کہ جو ماڈل ایک ساتھ 100,000 ٹوکن پڑھ سکتا ہے وہ یہ مسئلہ حل کر دے گا: بس پوری ہسٹری پیسٹ کر دیں۔ اس پیپر میں بالکل یہی آزمایا گیا۔ اُس وقت کے سب سے مضبوط AI ماڈلز میں سے ایک کو ہر سوال کے لیے پوری ہسٹری دی گئی، اس نے 60.6% درست جواب دیے۔ صرف وہ چند گفتگوئیں دی جائیں جن میں جواب تھا تو اس نے 87.0% درست دیے۔
وہ خلا ہی اصل بات ہے۔ یادداشت ایک بڑی ونڈو نہیں ہے؛ یہ وہ جملہ تلاش کرنا ہے جو اہم ہو، یہ جاننا کہ حقائق کا کون سا ورژن تازہ ترین ہے، اور تاریخ کا حساب لگانا۔ یہی یادداشت کا نظام ہے، اور یہی Recallr کے گرد بنایا گیا ہے۔
04
Recallr کا اسکور: 86.7%
Recallr نے 120 میں سے 104 سوالات درست جواب دیے، یعنی 86.7%۔ ہم نے اسے بالکل ویسے ہی چلایا جیسے یہ آتا ہے: ہر سوال کے پچھلے چیٹس کو ایک نئے اکاؤنٹ میں ماضی کے چیٹس کے طور پر لوڈ کیا گیا، پھر سوال نیا چیٹ میں پوچھا گیا۔ ہر جواب کو بلائنڈ انداز میں جانچا گیا، معیار کے اپنے جواب چیک کرنے والے پرامپٹس اور گریڈر ماڈل کے ساتھ۔
دو ایماندار نوٹس۔ ہم نے 500 میں سے 120 سوالات چلائے، ہر چھ قسموں میں سے 20، اس سیٹ کے صاف شدہ ورژن سے جو مصنفین نے جاری کیا۔ اور Recallr نے ایک تیز، کم قیمت روزمرہ ماڈل سے جواب دیا، انہی AI ماڈلز میں سے ایک جو یہ استعمال کرتا ہے۔
| سسٹم | اسکور | AI ماڈل جس نے جواب دیا | ماخذ |
|---|---|---|---|
| ماسٹرا مشاہداتی یادداشت | 94.9% | چھوٹا جنرل ماڈل | ماسٹرا تحقیق، فروری 2026 |
| ماضی کی بصیرت | 91.4% | ایک بڑا بیک بون ماڈل | لیٹمر وغیرہ، arXiv، دسمبر 2025 |
| Recallr | 86.7% | تیز روزمرہ ماڈل | یہ ٹیسٹ |
| EmergenceMem | 86.0% | ایک داخلی ماڈل | Emergence AI بلاگ، جون 2025 |
| سپر میموری | 85.2% | بڑا جنرل ماڈل | Supermemory تحقیق |
| Zep | 71.2% | پرانا جنرل ماڈل | Rasmussen et al., arXiv، جنوری 2025 |
| ایک AI ماڈل جو پوری ہسٹری پڑھ رہا ہے | 60.6% | پرانا جنرل ماڈل | Wu et al., ICLR 2025 (بینچ مارک کا مقالہ) |
اسے دوڑ کے بجائے حد کے طور پر پڑھیں: ہر نظام نے مختلف AI ماڈل کے ساتھ جواب دیا، اور باقی نے تمام 500 سوالات چلائے۔ یہ ظاہر کرتا ہے کہ Recallr، ایک صارف ایپ، یادداشت کے نظاموں کے برابر یاد رکھتا ہے جن پر AI ڈویلپرز ایجنٹس بناتے ہیں، اور ایک بڑے ماڈل کے مقابلے میں جو سب کچھ پڑھتا ہے (60.6%)، کہیں بہتر۔
05
کیا یاد رکھا گیا
Recallr کے چند درست جوابات، لفظ بہ لفظ۔ لوگ اور ان کی پہلے کی چیٹس خود ٹیسٹ کے ہیں۔
"How many bikes do I currently own?"
چار۔ آپ نے 2 اکتوبر کے پیغام میں کہا تھا کہ آپ نے ابھی ایک نیا ہائبرڈ بائیک خریدا ہے، تو اب آپ کے پاس روڈ بائیک، ماؤنٹین بائیک، کمیوٹر بائیک اور وہ ہائبرڈ ہے — جو فروری 15 کو بتائی گئی تین بائیکس سے زیادہ ہے۔
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
دس بار - آپ نے یہ جمعرات، 15 اکتوبر 2026 کو بتایا تھا۔ (جون میں آپ نے کہا تھا کہ یہ پانچ ہے، تو آپ نے اسے دگنا کر دیا ہے۔)
"What is my current highest score in Ticket to Ride?"
132 پوائنٹس — آپ نے یہ 4 اکتوبر 2026 کو حاصل کیا، جب آپ نے Scythe گیم نائٹ چیٹ میں اس کا ذکر کیا تھا۔ یہ آپ کے پہلے 124 پوائنٹس سے بہتر تھا جو 1 اکتوبر کو تھا۔
06
اگر آپ Recallr استعمال کرتے ہیں تو اس کا کیا مطلب ہے
ایک بار بتائیں، اور مہینوں بعد پوچھیں۔ Recallr آپ کی پچھلی بات چیت، جو کچھ آپ محفوظ کرتے ہیں (مضامین، ویڈیوز، پوسٹس، PDFs، تصاویر) اور جو آپ اسے یاد رکھنے کو کہتے ہیں، یاد رکھتا ہے، اور بتاتا ہے کہ جواب کہاں سے آیا ہے۔
جب بھی Recallr کا نیا ورژن آتا ہے ہم ٹیسٹ دوبارہ چلاتے ہیں، اور بینچ مارک صفحہ ہمیشہ آپ کے استعمال میں ورژن دکھاتا ہے۔ اگر آپ اپنی یادداشت پر آزمانا چاہتے ہیں، تو Recallr مفت شروع کرنے کے لیے دستیاب ہے۔