Recallr သည် LongMemEval တွင် 86.7% အမှတ်ရရှိသည်၊ ၎င်းသည် ရေရှည်မှတ်ဉာဏ် စံချိန်စစ်ဆေးမှုဖြစ်သည်။
မေးခွန်းတိုင်းသည် အနည်းဆုံး 48 ချက်များ၊ မက်ဆေ့ခ်ျ 490 ခန့်ရှိသော ယခင်စကားပြောများထဲမှ အသေးစိတ်တစ်ခုကို ဖုံးကွယ်ပြီး ပြန်မေးသည်။ ဒါက Recallr ကို AI ဖန်တီးသူများ တည်ဆောက်သော မှတ်ဉာဏ်စနစ်များနှင့် ညီမျှစေသည်။
- ဒီစာရင်းမှာ တစ်ခုတည်းသော စားသုံးသူအက်ပ်ဖြစ်သည်။ အခြားများသည် တီထွင်သူများအတွက် မိမိတို့ထုတ်ကုန်များတွင် ထည့်သွင်းရန် မှတ်ဉာဏ်စနစ်များဖြစ်သည်။
- အမြန်၊ သက်သာတဲ့ နေ့စဉ်မော်ဒယ်နဲ့ စမ်းသပ်ထားပါတယ်။ ဒီမှာ ရလဒ်တချို့မှာ ပိုကြီးတဲ့ မော်ဒယ်တွေကို အသုံးပြုထားပါတယ်။
86.7%104 မှ 120 မေးခွန်းများ
မှတ်ဉာဏ်စနစ်များ AI ဖန်တီးသူများ တည်ဆောက်သော အကွာအဝေးအတွင်း။
LongMemEval ရလဒ်များကို အသုံးပြုထားတဲ့ AI model အမျိုးအစားနဲ့အတူ၊ အဖွဲ့အစည်းတစ်ခုချင်းစီရဲ့ အကောင်းဆုံးရလဒ်နဲ့ အရင်းအမြစ်လင့်ခ်ပါ ထုတ်ဝေထားပါတယ်။
- 1Mastra ကြည့်ရှုမှတ်ဉာဏ်AI အေးဂျင့်များအတွက် မှတ်ဉာဏ် (အဖွင့်အရင်းအမြစ်)94.9%အသေးစား အထွေထွေမော်ဒယ်Mastra သုတေသန၊ ၂၀၂၆ ဖေဖော်ဝါရီ · အဟောင်း general model နဲ့ 84.23%
- 2နောက်ကြည့်ခြင်းAI အေးဂျင့်များအတွက် မှတ်ဉာဏ် (သုတေသန)91.4%ပိုမိုကြီးမားသော backbone မော်ဒယ်Latimer et al., arXiv, ဒီဇင်ဘာ ၂၀၂၅ · ဖွင့်လှစ်ရင်းမြစ် 20B မော်ဒယ်ဖြင့် ၈၃.၆%
- 3Recallrစားသုံးသူအက်ပ်၊ ထုတ်လုပ်သည့်အတိုင်း86.7%နေ့စဉ်သုံးနိုင်တဲ့မြန်မြန်ဆန်ဆန် မော်ဒယ်
- 4EmergenceMemAI အေးဂျင့်များအတွက် မှတ်ဉာဏ်86.0%အတွင်းရေးမော်ဒယ်Emergence AI ဘလော့ဂ်၊ ဇွန် ၂၀၂၅ · အများပြည်သူအတွက် ပြန်လုပ်ပြနိုင်ခြင်း မရှိပါ။ သူ့ရဲ့ public method က အဟောင်း general model နဲ့ 82.4% ရရှိထားပါတယ်။
- 5အထူးမှတ်ဉာဏ်AI အက်ပ်များအတွက် မှတ်ဉာဏ် API85.2%အကြီးစား အထွေထွေမော်ဒယ်အထူးမှတ်ဉာဏ် သုတေသန · အခြားကြီးမားတဲ့ general model နဲ့ 84.6%
- 6ZepAI အေးဂျင့်များအတွက် မှတ်ဉာဏ်71.2%အဟောင်း အထွေထွေမော်ဒယ်
- 7သမိုင်းတစ်လျှောက်လုံးကို ဖတ်နိုင်တဲ့ AI modelမှတ်ဉာဏ်စနစ်မရှိပါ - တစ်ခုချင်းစီတွင် ~115,000 token အပြည့်အစုံရှိသည်။60.6%အဟောင်း အထွေထွေမော်ဒယ်
သစ်တစ်ခုမှာ မေးမြန်းခြင်း၊ အပတ်များ သို့မဟုတ် လများနောက်ပိုင်း။
Recallr ၏ မှန်ကန်သော ဖြေကြားချက်လေးခု၊ စကားလုံးတိုင်းအတိုင်း။ လူများနှင့် ၎င်းတို့၏ ယခင် စကားဝိုင်းများသည် စမ်းသပ်မှု၏ မူရင်းဖြစ်သည်။
အရင်က ဖော်ပြခဲ့သော about 8 months
လက်ရှိ ကျွန်ုပ်မှာ ဘိုင်စကယ်လက် မည်မျှ ရှိသနည်း?
လေးခုပါ။ သင့်ရဲ့ အောက်တိုဘာ ၂ ရက်နေ့ စာမှာ သင်ဟာ ဟိုက်ဘရစ် စက်ဘီးအသစ် ဝယ်ထားတယ်လို့ ပြောခဲ့တာကြောင့် လမ်းဘီး၊ တောင်တက်ဘီး၊ သယ်ယူပို့ဆောင်ရေးဘီးနဲ့ ဟိုက်ဘရစ်ဘီး စုစုပေါင်း လေးခုရှိနေပြီ ဖြစ်ပါတယ်။ ဖေဖော်ဝါရီ ၁၅ ရက်နေ့မှာ ပြောခဲ့တဲ့ သုံးခုထက် ပိုပါတယ်။
အရင်က ဖော်ပြခဲ့သော about 4 months
ငါ့မိတ်ဆွေ Emma က နေဂရိုနီ ပြုလုပ်နည်း ပြသပြီးနောက် မိမိအိမ်တွင် နေဂရိုနီ ပြုလုပ်ကြိုးစားခဲ့သော အကြိမ်ရေ မည်မျှဖြစ်သနည်း?
ဆယ်ကြိမ် - သင်က ၂၀၂၆ ခုနှစ် အောက်တိုဘာ ၁၅ ရက် ကြာသပတေးနေ့မှာ ပြောခဲ့တယ်။ (ဇွန်လမှာတော့ ငါ့ကို ငါးကြိမ်လို့ ပြောခဲ့တာ၊ ဒါကြောင့် နှစ်ဆဖြစ်သွားပြီ။)
အရင်က ဖော်ပြခဲ့သော 3 weeks
Ticket to Ride မှာ ကျွန်ုပ်ရဲ့ လက်ရှိအမြင့်ဆုံးအမှတ် ဘယ်လောက်လဲ?
၁၃၂ အမှတ် - ၂၀၂၆ ခုနှစ် အောက်တိုဘာ ၄ ရက်မှာ Scythe ဂိမ်းည စကားပြောစဉ် ပြောခဲ့တာဖြစ်ပြီး၊ အောက်တိုဘာ ၁ ရက် ရရှိခဲ့တဲ့ ၁၂၄ အမှတ်ထက် ပိုကောင်းပါတယ်။
အရင်က ဖော်ပြခဲ့သော 4 weeks
ကျွန်ုပ်၏ ဆေးဖက်ဝင်အပင် ဥယျာဉ်ကို စိုက်ပျိုးခဲ့သောနေ့နှင့် ပထမဆုံး အသစ်သော ဆေးဖက်ဝင်အပင်များကို စုဆောင်းခဲ့သောနေ့အကြား ရက်ပေါင်း မည်မျှဖြစ်သနည်း?
၂၄ ရက် - ၂၀၂၆ ခုနှစ် စက်တင်ဘာ ၂၃ ရက်မှာ နေ့စဉ်ရေချိုးတာ စတင်ပြီး၊ အောက်တိုဘာ ၁၇ ရက်မှာ ပထမဆုံး ရွက်စု ရရှိခဲ့တာပါ။
စမ်းသပ်မှုနှင့် ကျွန်ုပ်တို့ ပြုလုပ်ပုံ။
- စမ်းသပ်မှု
- LongMemEval (Wu et al., ICLR 2025) သည် စကားပြောအကူအညီပေးသူတစ်ဦးသည် သင့်ပြောခဲ့သည့်အချက်များကို များစွာသော စကားပြောများအတွင်း မှတ်မိထားနိုင်မှုကို စစ်ဆေးသည်။ သင့်ဖော်ပြချက်များ၊ ပြောင်းလဲမှုများ၊ ရက်စွဲများ၊ သင့်စိတ်ကြိုက်များနှင့် သူက ပြောခဲ့သည့်အချက်များပါဝင်သည်။ ၎င်း၏ "S" စုစည်းမှုသည် 48 ယခင်စကားပြောများအကြောင်း မေးခွန်းတိုင်းကို ရှာဖွေစစ်ဆေးပေးသည်။ စာတမ်း။
- Recallr
- Recallr ရဲ့ လက်ရှိဗားရှင်းကို တိတိကျကျ စမ်းသပ်ပြီး October 2026။ မေးခွန်းတိုင်းရဲ့ ယခင် စကားပြောတွေကို အသစ်သော အကောင့်ထဲသို့ အတိတ် စကားပြောအဖြစ် ထည့်သွင်းပြီး၊ မေးခွန်းကို အသစ်သော စကားပြောထဲမှာ မေးခဲ့သည်။
- မေးခွန်းများ
- 120 ၅၀၀ မှ၊ အမျိုးအစားခြောက်မျိုးစီမှ တန်းတူ 20၊ စနစ်သန့်ရှင်းထားသော စုစည်းမှုမှ။
- AI မော်ဒယ်
- မြန်မြန်ဆန်ဆန်၊ စျေးသက်သာတဲ့ model တစ်ခုက မေးခွန်းတိုင်းကို ဖြေခဲ့တယ်။ ဒါက Recallr သုံးတဲ့ AI model တွေထဲက တစ်ခုပါ။ ဖြေချက်တိုင်းကို benchmark ရဲ့ answer-check prompts နဲ့ grader model နဲ့ မျက်စိပိတ်အဖြစ် စစ်ဆေးထားတယ်။
- အခြားစနစ်များ
- တူညီသော စမ်းသပ်မှုတွင် သူတို့ကိုယ်ပိုင် ထုတ်ပြန်ထားသော ရလဒ်များ၊ 6 အရင်းအမြစ်များ၊ ၂၀၂၆ ခုနှစ် အောက်တိုဘာ ၂၀ ရက်တွင် စစ်ဆေးပြီး။ ဇယားကို ပြိုင်ပွဲမဟုတ်ဘဲ အကွာအဝေးအဖြစ် ဖတ်ပါ။ စနစ်တိုင်းသည် ကွဲပြားသော AI မော်ဒယ်ဖြင့် ဖြေကြားခဲ့ပြီး မေးခွန်း ၅၀၀ အားလုံးကို စမ်းသပ်ခဲ့သည်။
သိထားသင့်သည်။
သေချာမသိသေးလား? ဘေးထောင့်က Recallr ကိုမေးပါ၊ ဒါမှမဟုတ် support@recallr-ai.org သို့ စာပို့ပါ။
01LongMemEval ဆိုတာဘာလဲ?
ICLR 2025 တွင် ထုတ်ပြန်သော စကားပြောအကူအညီများအတွက် ရေရှည်မှတ်ဉာဏ် စံချိန်စံညွှန်း။ ၎င်း၏ မေးခွန်း ၅၀၀ တစ်ခုချင်းစီတွင် ယခင် စကားပြောများ အတော်များများ ပါဝင်ပြီး အချက်အလက်တစ်ခုကို မေးမြန်းသည်၊ ထို့ကြောင့် အကူအညီသည် သင်ပြောခဲ့သည်ကို ရှာဖွေ အသုံးပြုရမည်၊ ခန့်မှန်းမဟုတ်။
02Recallr ၏ မှတ်ဉာဏ်သည် အက်ပ်တွင် တူညီသလား?
ဟုတ်ကဲ့၊ စမ်းသပ်မှုကို Recallr ၏ လက်ရှိဗားရှင်းတွင် တိတိကျကျ ပြုလုပ်ခဲ့သည်။ အတိတ် စကားပြောများအားလုံးတွင် တူညီသော မှတ်ဉာဏ်၊ ရှာဖွေရေးနှင့် အဖြေစစ်ဆေးမှုများပါဝင်သည်။
03မေးခွန်း ၅၀၀ မဟုတ်ပဲ ၁၂၀ မေးခွန်းသာ ဘာကြောင့်လဲ?
မေးခွန်းတိုင်းသည် ယခင်စကားပြောများနှင့် အကောင့်တစ်ခုလိုအပ်သည်၊ ထို့ကြောင့် စမ်းသပ်မှုအမျိုးအစားခြောက်မျိုးစီမှ တူညီသော 20 ကို ပြေးဆွဲခဲ့သည်။ Recallr ၏ ဗားရှင်းအသစ်တစ်ခု ထွက်ရှိသည့်အခါ ထပ်မံပြေးဆွဲပြီး ဤစာမျက်နှာကို အပ်ဒိတ်လုပ်သည်။
တစ်ကြိမ်ပြောပါ။
လစဉ်နောက်မှ မေးပါ။
ယနေ့ အရေးကြီးသောအရာများကို သိမ်းဆည်းပါ။ လိုအပ်သောနေ့တွင် မေးမြန်းပါ။
အခမဲ့ စတင်ပါ။ ကတ်မလိုအပ်ပါ။