ما هو LongMemEval، وكيف يقيم Recallr؟

الدماغ الثاني قيمته بما يعيده لك، ليس بما يخزنه: ما يمكنه إيجاده واستخدامه يوم تطلبه. هذا صعب القياس، ولهذا السبب LongMemEval مهم.

LongMemEval هو معيار لقياس الذاكرة طويلة الأمد في مساعدي الدردشة، نُشر في ICLR 2025 بواسطة دي وو، هونغوي وانغ، وينهاو يو، يوي وي تشانغ، كاي-وي تشانغ ودونغ يو (الورقة). يحتوي على 500 سؤال. كل سؤال مبني على تاريخ طويل من المحادثات السابقة بين شخص ومساعد، ويسأل عن تفصيل مدفون في مكان ما فيها.

في مجموعة "S" الخاصة به، التي تغطيها معظم أنظمة الذاكرة، كل سؤال يأتي مع حوالي 48 محادثة سابقة: نحو 115,000 رمز، أو ما يقارب 490 رسالة. التفاصيل التي تحتاجها قد تكون جملة واحدة في واحدة منها.

الأسئلة تختبر خمس مهارات، نفسها التي تريدها من شخص ذا ذاكرة جيدة:

• معلومة ذكرتها مرة واحدة. "ما اسم قطتي؟"، سُئل بعد شهور من ذكرها عابرًا.
• جمع عبر المحادثات. "كم عدد الدراجات التي أملكها الآن؟"، عندما ذكرتها واحدة تلو الأخرى.
• أشياء تغيرت. سجلك في دوري الكرة الطائرة الشهر الماضي، وليس سجل الربيع.
• التواريخ والوقت. "كم عدد الأيام بين زراعة الأعشاب والحصاد الأول؟"
• يعرف متى لم يُذكر شيء. عبارة صادقة "لم تخبرني بذلك" بدلاً من تخمين واثق.

بعض الأسئلة تتحقق أيضًا من تفضيلاتك وما قاله المساعد سابقًا، لذا لا يمكنه تذكر جانبك فقط من المحادثة.

قد تعتقد أن نموذجاً يمكنه قراءة 100,000 رمز دفعة واحدة سيحل المشكلة: فقط الصق كل التاريخ. الورقة العلمية اختبرت هذا بالضبط. أحد أقوى نماذج الذكاء الاصطناعي وقتها، حين أُعطي كامل التاريخ لكل سؤال، أجاب بشكل صحيح بنسبة 60.6% فقط. وعندما أُعطي فقط المحادثات التي تحتوي على الإجابة، وصلت النسبة إلى 87.0%.

هذه الفجوة هي الهدف. الذاكرة ليست نافذة كبيرة بما يكفي؛ بل هي إيجاد الجملة الواحدة المهمة، ومعرفة أي نسخة من المعلومة هي الأحدث، وإجراء حسابات التواريخ. هذا هو دور نظام الذاكرة، وهذا ما بُني Recallr عليه.

أجاب Recallr بشكل صحيح على 104 من 120 سؤالًا، بنسبة 86.7%. أجرينا الاختبار كما هو: تم تحميل محادثات كل سؤال السابقة في حساب جديد كمحادثات سابقة، ثم طُرح السؤال في محادثة جديدة. تم تقييم كل إجابة بشكل مستقل باستخدام أدوات التقييم الخاصة بالمعيار.

ملاحظتان صادقتان: أجرينا اختبارًا على 120 من أصل 500 سؤال، 20 من كل نوع من الأنواع الستة، من النسخة المنقحة التي نشرها المؤلفون. وأجاب Recallr باستخدام نموذج سريع وبتكلفة منخفضة، وهو أحد النماذج التي يستخدمها.

اقرأها كنطاق، ليست سباقًا: كل نظام أجاب بنموذج ذكاء اصطناعي مختلف، والبقية أجابوا على 500 سؤال كاملة. ما يظهره هو أن Recallr، تطبيق للمستهلكين، يتذكر ضمن نفس النطاق الذي تبنيه أنظمة الذاكرة التي يطورها مطورو الذكاء الاصطناعي، وأفضل بكثير من نموذج كبير يقرأ كل شيء (60.6%).

بعض إجابات Recallr الصحيحة، كلمة بكلمة. الأشخاص ومحادثاتهم السابقة هم اختبارها الخاص.

"How many bikes do I currently own?"

أربعة. في رسالتك بتاريخ 2 أكتوبر قلت إنك اشتريت دراجة هجينة جديدة، لذا لديك الآن دراجة طريق، ودراجة جبلية، ودراجة للتنقل، بالإضافة إلى الدراجة الهجينة - أي أكثر من الثلاث التي أخبرتني عنها في 15 فبراير.

"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"

عشرة مرات - قلت لي ذلك يوم الخميس، 15 أكتوبر 2026. (في يونيو قلت خمسة، لذا ضاعفت العدد منذ ذلك الحين.)

"What is my current highest score in Ticket to Ride?"

132 نقطة - حققتها في 4 أكتوبر 2026، عندما ذكرتها خلال دردشة ليلة لعبة Scythe. وقد تغلبت على نتيجتك السابقة 124 في 1 أكتوبر.

قلها مرة، واسأل بعد شهور. Recallr يتذكر محادثاتك السابقة، كل ما تحفظه (مقالات، فيديوهات، منشورات، ملفات PDF، صور) وما تطلب منه تذكره، ويخبرك من أين جاء الجواب.

نجري الاختبار مجددًا مع كل إصدار جديد من Recallr، وصفحة المعايير تعرض دائمًا النسخة التي تستخدمها. إذا أردت تجربته على ذاكرتك، Recallr مجاني للبدء.