Ir para o conteúdo
Benchmark · LongMemEval

Recallr alcança 86.7% no LongMemEval, o teste padrão de memória de longo prazo.

Cada pergunta esconde um detalhe em cerca de 48 chats anteriores, perto de 490 mensagens, e depois pede de volta. Isso coloca o Recallr no nível dos sistemas de memória que desenvolvedores de IA constroem.

  • O único app para consumidores nesta lista. Os outros são sistemas de memória para desenvolvedores integrarem em seus próprios produtos.
  • Testado com um modelo rápido e econômico para o dia a dia. Alguns resultados aqui usaram modelos muito maiores.

86.7%104 de 120 perguntas

LongMemEval_SA versão atual do Recallr, testada em October 2026
Como ele se compara

No alcance dos sistemas de memória que os desenvolvedores de IA constroem.

Pontuações LongMemEval publicadas, cada uma no melhor resultado da equipe, com o tipo de modelo de IA que respondeu e link para a fonte.

  1. 1
    Memória Observacional MastraMemória para agentes de IA (código aberto)
    94.9%modelo geral pequeno
    Pesquisa Mastra, fev 2026 · 84,23% com um modelo geral mais antigo
  2. 2
    RetrospectivaMemória para agentes de IA (pesquisa)
    91.4%um modelo backbone maior
    Latimer et al., arXiv, dez 2025 · 83,6% com um modelo open-source 20B
  3. 3
    RecallrO app para consumidores, como é entregue
    86.7%modelo rápido do dia a dia
    O único app para consumidores aquiModelo rápido para o dia a diaComo foi testado
  4. 4
    EmergenceMemMemória para agentes de IA
    86.0%um modelo interno
    Blog Emergence AI, junho de 2025 · Não reproduzível publicamente; o método público marcou 82,4% com um modelo geral mais antigo
  5. 5
    SupermemóriaAPI de Memória para apps de IA
    85.2%modelo geral grande
    Pesquisa sobre supermemória · 84,6% com outro modelo geral de grande porte
  6. 6
    ZepMemória para agentes de IA
    71.2%modelo geral antigo
  7. 7
    Um modelo de IA lendo todo o históricoSem sistema de memória: o histórico completo de ~115.000 tokens em cada prompt
    60.6%modelo geral antigo
O que foi lembrado

Perguntado em um novo chat, semanas ou meses depois.

Quatro respostas certas do Recallr, palavra por palavra. As pessoas e seus chats anteriores são do próprio teste.

  • Mencionado about 8 months antes

    Quantas bicicletas eu tenho atualmente?

    Quatro. Na sua mensagem de 2 de outubro, você disse que tinha acabado de comprar uma bicicleta híbrida, então agora você tem uma bicicleta de estrada, uma mountain bike, uma bike para o dia a dia e essa híbrida – um a mais do que as três que você me contou em 15 de fevereiro.

  • Mencionado about 4 months antes

    Quantas vezes tentei fazer um Negroni em casa desde que minha amiga Emma me ensinou?

    Dez vezes – você me disse isso na quinta-feira, 15 de outubro de 2026. (Em junho, você tinha dito cinco, então dobrou desde então.)

  • Mencionado 3 weeks antes

    Qual é minha maior pontuação atual no Ticket to Ride?

    132 pontos – você alcançou isso em 4 de outubro de 2026, quando mencionou durante a conversa da noite de jogos de Scythe. Isso superou seus 124 pontos anteriores de 1º de outubro.

  • Mencionado 4 weeks antes

    Quantos dias se passaram entre o início da rega da minha horta e a colheita do primeiro lote de ervas frescas?

    24 dias – você começou a regar diariamente em 23 de setembro de 2026 e colheu sua primeira leva em 17 de outubro de 2026.

Como foi testado

O teste, e como o realizamos.

O teste
LongMemEval (Wu et al., ICLR 2025) verifica se um assistente de chat lembra do que você contou em várias conversas: fatos mencionados, mudanças posteriores, datas, suas preferências e o que ele te disse. Seu conjunto "S" dá a cada pergunta sobre 48 conversas anteriores para pesquisar. O artigo.
Recallr
A versão atual do Recallr, exatamente como é entregue, testada em October 2026. Os chats anteriores de cada pergunta foram carregados em uma conta nova como chats passados; a pergunta foi feita em um chat novo.
As perguntas
120 das 500, um número igual 20 de cada um dos seus seis tipos, da versão limpa do conjunto.
O modelo de IA
Um modelo rápido e econômico respondeu todas as perguntas; é um dos modelos de IA usados pelo Recallr. Cada resposta foi avaliada às cegas, com os prompts e o avaliador do próprio benchmark.
Outros sistemas
Os próprios resultados publicados no mesmo teste, 6 fontes, verificado em 20 de outubro de 2026. Leia o gráfico como uma faixa, não uma corrida: cada sistema respondeu com um modelo de IA diferente, e eles responderam às 500 perguntas.
Perguntas

Bom saber.

Ainda com dúvidas? Pergunte ao Recallr no canto ou escreva para support@recallr-ai.org.

01O que é LongMemEval?

O padrão para memória de longo prazo em assistentes de chat, publicado no ICLR 2025. Cada uma das 500 perguntas vem com dezenas de conversas anteriores e pergunta sobre um detalhe delas, então o assistente precisa encontrar e usar o que você disse, não adivinhar.

02A memória do Recallr é a mesma no app?

Sim. O teste foi feito na versão atual do Recallr exatamente como é entregue: mesma memória, mesma busca nas conversas passadas, mesmas verificações de respostas.

03Por que 120 perguntas e não todas as 500?

Cada pergunta precisa de uma conta com dezenas de chats anteriores, então rodamos um 20 equilibrado de cada um dos seis tipos do teste. Quando uma nova versão do Recallr é lançada, repetimos e esta página atualiza.

Seu segundo cérebro pessoal com IA

Conte uma vez.
Pergunte meses depois.

Salve o que importa hoje. Pergunte quando precisar.

Comece grátis. Sem cartão necessário.