01
ဒုတိယဦးနှောက်တစ်ခု လုပ်ဆောင်ရမယ့် အရေးကြီးဆုံး အရာတစ်ခု စမ်းသပ်ခြင်း
ဒုတိယ ဦးနှောက်သည် ပြန်လည်ပေးဆောင်နိုင်သည့် အရာအတိုင်းသာ ကောင်းမွန်သည်။ သိမ်းဆည်းထားသည့်အရာမဟုတ်ပါ - မေးမြန်းသောနေ့တွင် ရှာဖွေနိုင်ခြင်းနှင့် အသုံးပြုနိုင်ခြင်းဖြစ်သည်။ ၎င်းကို တိုင်းတာရန် အလွန်ခက်ခဲသောကြောင့် LongMemEval သည် အရေးကြီးသည်။
LongMemEval သည် ICLR 2025 တွင် Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang နှင့် Dong Yu မှ ထုတ်ပြန်သော စကားပြောအကူအညီပေးသူများ၏ ရေရှည်မှတ်ဉာဏ် စမ်းသပ်မှုဖြစ်သည် (စာတမ်း)။ ၎င်းတွင် မေးခွန်း ၅၀၀ ပါဝင်ပြီး၊ လူနှင့်အကူအညီပေးသူအကြား ရှည်လျားသော စကားပြောမှတ်တမ်းတစ်ခုအပေါ်တွင် တည်ရှိပြီး အချက်အလက်အသေးစိတ်တစ်ခုကို မေးမြန်းသည်။
အများဆုံး မှတ်ဉာဏ်စနစ်များမှ တင်ပြသော "S" စုစည်းမှုတွင် မေးခွန်းတိုင်းတွင် အနီးကပ် ၄၈ ချက် အစီအစဉ်များ ပါဝင်သည်။ အနီးကပ် ၁၁၅,၀၀၀ သင်္ကေတများ သို့မဟုတ် ၄၉၀ ခန့် စာတိုက်များဖြစ်သည်။ သင့်လိုအပ်သော အသေးစိတ်သည် ထိုအချို့ထဲမှ တစ်ခု၏ တစ်ကြောင်းဖြစ်နိုင်သည်။
02
မှတ်မိခြင်း ၅ မျိုး
မေးခွန်းများသည် လူတစ်ဦး၏ ကောင်းမွန်သော မှတ်ဉာဏ်ရှိမှုလိုအပ်သည့် စွမ်းရည်ငါးမျိုးကို စမ်းသပ်သည်။
- တစ်ခါ ပြောခဲ့တဲ့ အချက်တစ်ခု။ "ငါ့ကြောင်နာမည် ဘာလဲ?" လို့ မေးတာ၊ လွန်ခဲ့တဲ့လတွေမှာ မကြာခဏ ပြောခဲ့တာပါ။
- စကားပြောတွေမှာ စုစုပေါင်းတွက်ချက်ခြင်း။ "ငါ လက်ရှိမှာ ဘယ်နှစ်စက် စက်ဘီးရှိလဲ?" တစ်စက်စီ ပြောခဲ့တဲ့အခါ။
- ပြောင်းလဲသွားတဲ့ အရာတွေ။ မကြာသေးခင်က ဗောလီဘောလ် လိဂ် မှတ်တမ်း၊ နွေဦးက မဟုတ်ပါ။
- ရက်စွဲနဲ့ အချိန်။ "အပင်စိုက်ပြီး ပထမဆုံး ရွက်စုရရှိတဲ့အကြား ရက်ပေါင်း ဘယ်လောက်လဲ?"
- မပြောခဲ့တာကို သိရှိတယ်။ ယုံကြည်စိတ်ချစွာ ခန့်မှန်းခြင်းမဟုတ်ဘဲ "သင် မပြောခဲ့ပါဘူး" ဆိုတဲ့ ရိုးသားတဲ့ ပြောဆိုချက်။
မေးခွန်းအချို့က သင့်စိတ်ကြိုက်နှင့် အကူအညီပေးသူက ယခင်က ပြောခဲ့တာတွေကို စစ်ဆေးတာကြောင့် သင့်ဘက်တစ်ဖက်က စကားပြောဆိုမှုကိုသာ မှတ်မိနိုင်တာ မဟုတ်ပါ။
03
ကြီးမားတဲ့ AI မော်ဒယ်တွေ အတွက်ပါ အခက်အခဲ ဖြစ်တာ ဘာကြောင့်လဲ
တစ်ခါတလေ ၁၀၀,၀၀၀ token တစ်ပြိုင်နက် ဖတ်နိုင်တဲ့ မော်ဒယ်တစ်ခုရှိရင် ပြဿနာမရှိဘူးလို့ ထင်နိုင်ပါတယ်။ စာတမ်းက တကယ်တမ်း စမ်းသပ်ထားပါတယ်။ အဲ့ဒီအချိန်မှာ အားအရဆုံး AI မော်ဒယ်တစ်ခုကို မေးခွန်းတိုင်းအတွက် အပြည့်အစုံ သမိုင်းကြောင်းကိုပေးလိုက်တော့ ၆၀.၆% မှန်ပါတယ်။ ဖြေဆိုချက်ပါဝင်တဲ့ စကားဝိုင်းအနည်းငယ်ပဲပေးလိုက်ရင် ၈၇.၀% မှန်ပါတယ်။
ဒီအကြားကွာဟချက်က အဓိကပါ။ မှတ်ဉာဏ်က ပြင်းထန်တဲ့ ပြတင်းပေါက် မဟုတ်ပါဘူး။ အရေးကြီးတဲ့ စာကြောင်းတစ်ကြောင်းကို ရှာဖွေခြင်း၊ အချက်အလက်အသစ်ဆုံး ဗားရှင်းကို သိရှိခြင်း၊ နေ့စွဲတွက်ချက်ခြင်းတို့ပါ။ ဒါက မှတ်ဉာဏ်စနစ်ရဲ့ တာဝန်ဖြစ်ပြီး Recallr က ဒီအပေါ်မှာ အခြေခံထားပါတယ်။
04
Recallr ရဲ့ အမှတ်: ၈၆.၇%
Recallr က မေးခွန်း ၁၂၀ ခုထဲမှ ၁၀၄ ခု ကို မှန်ကန်စွာ ဖြေဆိုနိုင်ခဲ့ပြီး၊ ၈၆.၇% ဖြစ်ပါတယ်။ ကျွန်တော်တို့က Recallr ကို အစအဆုံး အတိအကျ အသုံးပြုခဲ့ပြီး၊ မေးခွန်းတိုင်းရဲ့ ယခင် စကားပြောတွေကို အသစ်ဖွင့်ထားတဲ့ အကောင့်ထဲသို့ တင်ပြီး၊ နောက်တစ်ခါ မေးခွန်းကို အသစ်စက်စက် စကားပြောတစ်ခုမှာ မေးခဲ့ပါတယ်။ ဖြေဆိုချက်တိုင်းကို မျက်စိမမြင်ဘဲ အကဲဖြတ်ခဲ့ပြီး၊ စံချိန်စနစ်ရဲ့ မေးခွန်းစစ်ဆေးမှုနှင့် အကဲဖြတ်သူ မော်ဒယ်ကို အသုံးပြုခဲ့ပါတယ်။
တစ်ချက်တည်း ပြောပါရစေ။ မေးခွန်း ၅၀၀ မှ ၁၂၀ ခု၊ အမျိုးအစား ၆ မျိုးစီမှ ၂၀ ခုစီကို စစ်ဆေးပြီး၊ မူရင်းစာရေးသူတွေ ထုတ်ပြန်ထားတဲ့ သန့်ရှင်းထားတဲ့ မေးခွန်းများကို အသုံးပြုပါတယ်။ Recallr ကလည်း နေ့စဉ်သုံးနိုင်တဲ့ မြန်မြန်ဆန်ဆန်၊ စျေးသက်သာတဲ့ AI မော်ဒယ်တစ်ခုနဲ့ ဖြေခဲ့ပါတယ်။
| စနစ် | အမှတ် | ဖြေကြားခဲ့တဲ့ AI မော်ဒယ် | အရင်းအမြစ် |
|---|---|---|---|
| Mastra ကြည့်ရှုမှတ်ဉာဏ် | 94.9% | အသေးစား အထွေထွေမော်ဒယ် | Mastra သုတေသန၊ ၂၀၂၆ ဖေဖော်ဝါရီ |
| နောက်ကြည့်ခြင်း | 91.4% | ပိုမိုကြီးမားသော backbone မော်ဒယ် | Latimer et al., arXiv, ဒီဇင်ဘာ ၂၀၂၅ |
| Recallr | 86.7% | နေ့စဉ်သုံးနိုင်တဲ့မြန်မြန်ဆန်ဆန် မော်ဒယ် | ဤစမ်းသပ်မှု |
| EmergenceMem | 86.0% | အတွင်းရေးမော်ဒယ် | Emergence AI ဘလော့ဂ်၊ ဇွန် ၂၀၂၅ |
| အထူးမှတ်ဉာဏ် | 85.2% | အကြီးစား အထွေထွေမော်ဒယ် | Supermemory သုတေသန |
| Zep | 71.2% | အဟောင်း အထွေထွေမော်ဒယ် | Rasmussen et al., arXiv, ဇန်နဝါရီ ၂၀၂၅ |
| သမိုင်းတစ်လျှောက်လုံးကို ဖတ်နိုင်တဲ့ AI model | 60.6% | အဟောင်း အထွေထွေမော်ဒယ် | Wu et al., ICLR 2025 (စမ်းသပ်မှု စာတမ်း) |
ပြိုင်ပွဲမဟုတ်ဘဲ အကွာအဝေးအဖြစ် ဖတ်ပါ - စနစ်တိုင်းသည် မတူညီသော AI မော်ဒယ်ဖြင့် ဖြေကြားခဲ့ပြီး အခြားများသည် မေးခွန်း ၅၀၀ အားလုံးကို လည်ပတ်ခဲ့သည်။ Recallr သည် စားသုံးသူအက်ပ်တစ်ခုအနေနှင့် AI ဖန်တီးသူများ တည်ဆောက်သော မှတ်ဉာဏ်စနစ်များနှင့် တူညီသော အကွာအဝေးတွင် မှတ်မိနိုင်ပြီး မော်ဒယ်ကြီးတစ်ခုအားလုံး ဖတ်ခြင်းထက် ပိုမိုကောင်းမွန်သည် (၆၀.၆%)။
05
အမှတ်တရများ
Recallr ၏ မှန်ကန်သော ဖြေကြားချက်အနည်းငယ်၊ စကားလုံးတိုင်းအတိုင်း။ လူများနှင့် ၎င်းတို့၏ ယခင်စကားပြောများသည် စမ်းသပ်မှု၏ မူရင်းဖြစ်သည်။
"How many bikes do I currently own?"
လေးခုပါ။ သင့်ရဲ့ အောက်တိုဘာ ၂ ရက်နေ့ စာမှာ သင်ဟာ ဟိုက်ဘရစ် စက်ဘီးအသစ် ဝယ်ထားတယ်လို့ ပြောခဲ့တာကြောင့် လမ်းဘီး၊ တောင်တက်ဘီး၊ သယ်ယူပို့ဆောင်ရေးဘီးနဲ့ ဟိုက်ဘရစ်ဘီး စုစုပေါင်း လေးခုရှိနေပြီ ဖြစ်ပါတယ်။ ဖေဖော်ဝါရီ ၁၅ ရက်နေ့မှာ ပြောခဲ့တဲ့ သုံးခုထက် ပိုပါတယ်။
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
ဆယ်ကြိမ် - သင်က ၂၀၂၆ ခုနှစ် အောက်တိုဘာ ၁၅ ရက် ကြာသပတေးနေ့မှာ ပြောခဲ့တယ်။ (ဇွန်လမှာတော့ ငါ့ကို ငါးကြိမ်လို့ ပြောခဲ့တာ၊ ဒါကြောင့် နှစ်ဆဖြစ်သွားပြီ။)
"What is my current highest score in Ticket to Ride?"
၁၃၂ အမှတ် - ၂၀၂၆ ခုနှစ် အောက်တိုဘာ ၄ ရက်မှာ Scythe ဂိမ်းည စကားပြောစဉ် ပြောခဲ့တာဖြစ်ပြီး၊ အောက်တိုဘာ ၁ ရက် ရရှိခဲ့တဲ့ ၁၂၄ အမှတ်ထက် ပိုကောင်းပါတယ်။
06
Recallr ကို အသုံးပြုပါက အဓိပ္ပါယ်ကဘာလဲ
တစ်ကြိမ်ပြောပါ၊ လစဉ်နောက်မှမေးပါ။ Recallr သည် သင့်ရဲ့ အတိတ်စကားပြောများ၊ သိမ်းဆည်းထားသော အရာအားလုံး (ဆောင်းပါးများ၊ ဗီဒီယိုများ၊ ပို့စ်များ၊ PDF များ၊ ဓာတ်ပုံများ) နှင့် သင်မှတ်ထားရန် မေးထားသော အရာများကို မှတ်မိပြီး ဖြေကြားချက်ရရှိရာနေရာကို ပြောပြပါသည်။
Recallr ၏ ဗားရှင်းအသစ်တစ်ခု ထွက်ရှိသည့်အခါ စမ်းသပ်မှုကို ထပ်မံပြုလုပ်ပြီး benchmark စာမျက်နှာ တွင် သင့်အသုံးပြုနေသော ဗားရှင်းကို အမြဲပြသပါသည်။ သင့်ကိုယ်ပိုင် မှတ်ဉာဏ်ပေါ်တွင် စမ်းသပ်လိုပါက Recallr ကို အခမဲ့ စတင်နိုင်ပါသည်။