01
두 번째 뇌가 반드시 해야 하는 한 가지 시험
세컨드 브레인의 가치는 저장한 것이 아니라, 요청할 때 찾아내고 활용할 수 있는 능력에 달려 있습니다. 이걸 측정하기 어려워서 LongMemEval이 중요합니다.
LongMemEval은 ICLR 2025에서 Di Wu, Hongwei Wang, Wenhao Yu, Yuwei Zhang, Kai-Wei Chang, Dong Yu가 발표한 대화형 비서의 장기 기억 평가 기준입니다 (논문). 500개의 질문으로 구성되어 있으며, 각 질문은 사람과 비서 간의 긴 대화 기록 위에 놓여 있어 그 안에 숨겨진 세부사항을 묻습니다.
대부분 메모리 시스템이 보고하는 "S" 세트에서는 각 질문에 약 48개의 이전 대화가 포함됩니다: 약 115,000 토큰, 약 490개의 메시지에 해당해요. 필요한 세부 정보는 그중 한 문장일 수 있습니다.
02
기억하는 다섯 가지 방법
질문들은 좋은 기억력을 가진 사람이 갖춰야 할 다섯 가지 능력을 테스트합니다:
- 한 번 언급한 사실이야. "내 고양이 이름이 뭐야?"라고 몇 달 후에 물었지.
- 채팅 내용을 합산한 답변. "내가 지금 몇 대의 자전거를 가지고 있지?"라고 하나씩 말했을 때.
- 변경된 것들. 지난달 배구 리그 기록, 봄 기록이 아니라.
- 날짜와 시간. "허브를 심은 날부터 첫 수확까지 며칠이 걸렸지?"
- 말하지 않은 건 알 수 있어요. 확신에 찬 추측 대신 솔직하게 "그건 말하지 않았어요"라고 알려줍니다.
몇몇 질문은 사용자의 선호도와 이전에 어시스턴트가 한 말을 확인하기도 하므로 대화의 한쪽 면만 기억하지 않습니다.
03
왜 큰 AI 모델에게도 어려운가요?
한 번에 10만 토큰을 읽는 모델이면 해결될 것 같죠? 그냥 전체 기록을 붙여넣으면 된다고요. 논문에서 바로 그 방법을 실험했어요. 당시 가장 강력한 AI 모델 중 하나가 모든 질문에 전체 기록을 받았을 때, 정답률은 60.6%에 그쳤어요. 답이 들어 있는 몇 개 대화만 줬을 땐 87.0%였고요.
그 간극이 핵심입니다. 기억은 너무 짧은 창이 아니라, 중요한 문장을 찾고, 최신 정보 버전을 알고, 날짜 계산을 하는 것입니다. 그게 기억 시스템의 역할이고 Recallr가 그 중심에 있습니다.
04
Recallr 점수: 86.7%
Recallr는 120개 중 104개 질문에 정확히 답해 86.7%의 정답률을 기록했습니다. 각 질문의 이전 대화는 새 계정에 과거 대화로 불러온 뒤 새 대화에서 질문했습니다. 모든 답변은 벤치마크의 답변 검증 프롬프트와 평가 모델로 블라인드 평가했습니다.
솔직하게 두 가지. 전체 500문항 중 120개(각 유형별 20개씩)를 저자들이 공개한 정제본에서 뽑아 테스트했습니다. Recallr는 빠르고 저렴한 일상형 모델(Recallr가 사용하는 AI 모델 중 하나)로 답변했습니다.
| 시스템 | 점수 | 답변한 AI 모델 | 출처 |
|---|---|---|---|
| Mastra 관찰 기억 | 94.9% | 소형 범용 모델 | Mastra 연구, 2026년 2월 |
| 회고 | 91.4% | 더 큰 백본 모델 | Latimer 외, arXiv, 2025년 12월 |
| Recallr | 86.7% | 빠른 일상형 모델 | 이 테스트 |
| EmergenceMem | 86.0% | 내부 모델 | Emergence AI 블로그, 2025년 6월 |
| 슈퍼메모리 | 85.2% | 대형 범용 모델 | Supermemory 연구 |
| Zep | 71.2% | 구형 범용 모델 | Rasmussen 외, arXiv, 2025년 1월 |
| 전체 기록을 읽는 AI 모델 | 60.6% | 구형 범용 모델 | Wu 외, ICLR 2025 (벤치마크 논문) |
경쟁이 아닌 범위로 보세요: 각 시스템은 다른 AI 모델로 답했고, 나머지는 500문항 모두 실행했습니다. 이 결과는 소비자용 앱 Recallr가 AI 개발자들이 만든 기억 시스템과 비슷한 수준으로 기억하며, 모든 걸 읽는 대형 모델(60.6%)보다 훨씬 뛰어나다는 걸 보여줍니다.
05
기억한 내용
Recallr의 정확한 답변 몇 가지. 사람들과 그들의 이전 채팅이 테스트 자체입니다.
"How many bikes do I currently own?"
네 개. 10월 2일 메시지에서 새 하이브리드 자전거를 샀다고 했죠. 이제 로드, 산악, 출퇴근용 자전거에 하이브리드까지 네 대가 되었네요. 2월 15일에 말한 세 대에서 늘었어요.
"How many times have I tried making a Negroni at home since my friend Emma showed me how to make it?"
열 번 - 2026년 10월 15일 목요일에 그렇게 말씀하셨어요. (6월에는 다섯 번이라고 하셨으니 두 배가 됐네요.)
"What is my current highest score in Ticket to Ride?"
132점이야. 2026년 10월 4일 Scythe 게임 나이트 채팅에서 말했지. 10월 1일의 124점 기록을 넘어섰어.
06
Recallr를 사용할 때 이것이 의미하는 바
한 번 말하면 몇 달 후에도 물어보세요. Recallr는 과거 대화, 저장한 모든 자료(기사, 동영상, 게시물, PDF, 사진)와 기억하길 요청한 내용을 기억하며, 답변 출처도 알려줍니다.
Recallr 새 버전이 출시될 때마다 테스트를 다시 실행하며, 벤치마크 페이지에서 사용 중인 버전을 확인할 수 있습니다. 직접 메모리를 시험해보고 싶다면 Recallr는 무료로 시작할 수 있습니다.