LongMemEval কী, এবং Recallr কীভাবে স্কোর করে?

একটি দ্বিতীয় মস্তিষ্ক তার দেওয়ার ক্ষমতা অনুযায়ী মূল্যবান। যা সঞ্চয় করে তা নয়: যা তুমি জিজ্ঞাসা করলে খুঁজে পায় এবং ব্যবহার করে। এটা মাপা কঠিন, এজন্য LongMemEval গুরুত্বপূর্ণ।

LongMemEval হল চ্যাট সহকারীদের দীর্ঘমেয়াদী স্মৃতির জন্য একটি বেঞ্চমার্ক, যা ICLR 2025-এ Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang এবং Dong Yu দ্বারা প্রকাশিত (পেপার)। এতে ৫০০টি প্রশ্ন রয়েছে। প্রতিটি প্রশ্ন একটি ব্যক্তির এবং সহকারীর পূর্ববর্তী দীর্ঘ কথোপকথনের উপর ভিত্তি করে এবং এর মধ্যে লুকানো একটি বিস্তারিত সম্পর্কে জিজ্ঞাসা করে।

এর "S" সেটে, যা বেশিরভাগ মেমোরি সিস্টেম রিপোর্ট করে, প্রতিটি প্রশ্নের সঙ্গে প্রায় ৪৮টি আগের চ্যাট থাকে: প্রায় ১১৫,০০০ টোকেন, বা প্রায় ৪৯০টি মেসেজ। তোমার প্রয়োজনীয় বিস্তারিত হয়তো তাদের মধ্যে এক বাক্যে থাকে।

প্রশ্নগুলো পাঁচটি দক্ষতা পরীক্ষা করে, যেগুলো তুমি একজন স্মৃতিশক্তিশালী ব্যক্তির কাছ থেকে আশা করো:

• একটি তথ্য যা আপনি একবার উল্লেখ করেছিলেন। "আমার বিড়ালের নাম কী?"—আপনি এটি একবার বলার কয়েক মাস পর জিজ্ঞাসা করেছিলেন।
• চ্যাট জুড়ে যোগফল। "আমি এখন কতগুলো সাইকেল মালিক?"—আপনি এক এক করে উল্লেখ করেছিলেন।
• যা পরিবর্তিত হয়েছে। গত মাসের ভলিবল লিগ রেকর্ড, বস্তুত বসন্তের নয়।
• তারিখ ও সময়। "গাছ লাগানোর দিন থেকে প্রথম ফসল তোলার মধ্যে কত দিন?"
• যখন কিছু বলা হয়নি তা জানায়। আত্মবিশ্বাসী অনুমানের বদলে সৎ “তুমি আমাকে এটা বলোনি”।

কিছু প্রশ্ন তোমার পছন্দ এবং সহকারী যা আগে বলেছে তা পরীক্ষা করে, তাই এটি শুধু তোমার কথোপকথনের একপাশ মনে রাখতে পারে না।

তুমি ভাবতে পারো, একসাথে ১,০০,০০০ টোকেন পড়তে পারে এমন মডেলেই তো সমাধান—পুরো ইতিহাসটাই কপি করে দাও। গবেষণাপত্রে ঠিক এটাই পরীক্ষা করা হয়েছে। সেই সময়ের সবচেয়ে শক্তিশালী AI মডেলগুলোর একটি, প্রতিটি প্রশ্নের জন্য পুরো ইতিহাস হাতে পেয়ে, ৬০.৬% সঠিক উত্তর দিয়েছে। কেবল যেসব কথোপকথনে উত্তর ছিল, সেগুলো দিলে, সঠিক উত্তর ৮৭.০%।

সেই ফাঁকটাই মূল কথা। স্মৃতি বড় জানালা নয়; গুরুত্বপূর্ণ বাক্য খুঁজে পাওয়া, তথ্যের সর্বশেষ সংস্করণ জানা এবং তারিখের হিসাব করা। স্মৃতি ব্যবস্থার কাজই এটি, আর Recallr এর ভিত্তি।

Recallr সঠিকভাবে 120 প্রশ্নের মধ্যে 104 এর উত্তর দিয়েছে, 86.7%। আমরা এটি ঠিক যেমনটি আসে তেমন চালিয়েছি: প্রতিটি প্রশ্নের পূর্ববর্তী চ্যাট নতুন অ্যাকাউন্টে অতীত চ্যাট হিসেবে লোড করা হয়েছে, তারপর নতুন চ্যাটে প্রশ্ন করা হয়েছে। প্রতিটি উত্তর অন্ধভাবে মূল্যায়ন করা হয়েছে, বেঞ্চমার্কের নিজস্ব উত্তর যাচাই প্রম্পট ও গ্রেডার মডেল দিয়ে।

দুইটি খোলামেলা কথা। আমরা লেখকদের প্রকাশিত সেটের পরিশোধিত সংস্করণ থেকে ৫০০ প্রশ্নের মধ্যে ১২০টি চালিয়েছি, প্রতিটি ছয় ধরনের থেকে সমান ২০টি করে। আর Recallr উত্তর দিয়েছে দ্রুত, কম খরচের দৈনন্দিন একটি মডেল দিয়ে—এটাই Recallr-এর ব্যবহৃত AI মডেলগুলোর একটি।

এটি একটি পরিসর হিসেবে পড়ো, একটি দৌড় নয়: প্রতিটি সিস্টেম ভিন্ন AI মডেল দিয়ে উত্তর দিয়েছে, এবং অন্যরা সব ৫০০ প্রশ্ন চালিয়েছে। যা দেখায় তা হলো Recallr, একটি ভোক্তা অ্যাপ, স্মরণ রাখে সেই পরিসরে যা মেমরি সিস্টেম AI ডেভেলপাররা এজেন্ট তৈরিতে ব্যবহার করে, এবং বড় মডেল যা সব পড়ে তার চেয়ে অনেক ভালো (৬০.৬%)।

Recallr-এর কিছু সঠিক উত্তর, শব্দশঃ। মানুষ এবং তাদের পূর্ববর্তী চ্যাটগুলোই পরীক্ষার নিজস্ব।

"How many bikes do I currently own?"

চারটি। তোমার ২ অক্টোবরের বার্তায় বলেছিলে তুমি নতুন একটি হাইব্রিড বাইক কিনেছো, তাই এখন তোমার আছে একটি রোড বাইক, মাউন্টেন বাইক, কমিউটার বাইক আর সেই হাইব্রিড - যা ফেব্রুয়ারি ১৫ তারিখে বলেছিলে তিনটির থেকে বেশি।

"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"

দশবার - আপনি আমাকে ২০২৬ সালের ১৫ অক্টোবর বৃহস্পতিবার এ কথা বলেছিলেন। (জুনে বলেছিলেন পাঁচটি, তাই এখন দ্বিগুণ করেছেন।)

"What is my current highest score in Ticket to Ride?"

১৩২ পয়েন্ট—আপনি ৪ অক্টোবর, ২০২৬-এ স্কাইথ গেম-নাইট চ্যাটে এটি উল্লেখ করেছিলেন। এটি আপনার আগের ১২৪ পয়েন্ট (১ অক্টোবর) ছাড়িয়ে গেছে।

একবার বলো, মাস পরেও জিজ্ঞাসা করো। Recallr তোমার আগের চ্যাট, সব সেভ করা (নিবন্ধ, ভিডিও, পোস্ট, PDF, ছবি) এবং যা মনে রাখতে বলেছ তা মনে রাখে, এবং বলে উত্তর কোথা থেকে এসেছে।

Recallr-এর নতুন সংস্করণ আসলে আমরা আবার পরীক্ষা চালাই, এবং বেঞ্চমার্ক পেজ সবসময় আপনি যে সংস্করণ ব্যবহার করছেন তা দেখায়। আপনি যদি নিজের স্মৃতিতে চেষ্টা করতে চান, Recallr শুরু করতে বিনামূল্যে।