複雑な記憶は本当に要るのか：生の履歴を検索するだけのRAGが記憶システムを上回った

どんな論文か

LLM に長い会話を覚えさせる「エージェント記憶」の研究は、事実の抽出や更新・削除、要約、グラフ構築と、複雑さを増すばかりです。この論文は「その複雑さは本当に必要なのか」と真っ向から問い直します。著者は Zhengye Bao ら6名です。本文に所属の記載はありませんが、謝辞には中国の教育部や国家自然科学基金などの助成が挙がっています。

使う道具はとても素朴です。生の会話履歴を細かく切って密ベクトル検索（文の意味を数値ベクトルにして近いものを探す方法）にかけ、クロスエンコーダ（質問と文書を一緒に読ませて関連度を採点するモデル）で並べ直す。たったそれだけの「Raw-RAG」を、LoCoMo、LongMemEval、MEME、MemoryAgentBench の4つのベンチマークで、Mem0、EverMemOS、MemMachine、Memora など12の記憶システムと競わせました。

この論文の肝

一言で言うと、記憶は加工するより、生のまま残して上手に引くほうが強かったという鮮やかな発見です。

これまでは「RAG は静的な文書向けで、事実が上書きされたり消されたりする長期会話には向かない」と考えられがちでした。先行研究の評価でも、RAG は記憶システムに負けていると報告されてきました。この論文はまず、その前提を2つの予備実験で確かめます。1つめは、Mem0 が実際にどれだけ更新・削除をしているかの調査です。2つめは、読み手の LLM が生の証拠だけで状態の変化を解けるかの確認です。そのうえで、先行研究の RAG ベースラインには「検索単位が粗い」「取り出す件数が少ない」「リランクが無い」といった弱点があったと見抜いています。

図1　記憶の作り方：これまでとこの論文。長期会話の記憶について、従来の前提とこの論文の見方を対比したもの。

新しいのは、「RAG は弱い」という通説を、丁寧に作り込んだ RAG で検証し直した点です。さらに、なぜ勝てるのかを「証拠を取りこぼさない率（カバレッジ）」と「答えを導く道すじが残っているか」に切り分けて解き明かしています。

使いどころと価値

意味: これまで記憶システムが RAG に勝つと言われてきた差の一部は、比較相手の RAG が弱かったせいかもしれません。この論文は、少なくとも評価した会話タスクでは、更新・削除のような「状態の管理」を読み手の LLM に任せても十分に回ることを示しました。そして本当のボトルネックは「推論」ではなく「証拠を集めること」にあると切り分けています。

価値: 一番わかりやすい魅力は圧倒的なコストの低さです。MEME の10エピソード・110問で、Raw-RAG の取り込みと検索の合計は305.91秒でした。次に速いシステムより5.1倍、EverMemOS より30.4倍も速いと書かれています。記憶の取り込みに LLM を呼ばないため、事実抽出や要約を足した版が 21.6–109.3M の LLM トークンと 2.9–8.8 時間を費やしたのに対し、Raw-RAG はわずか12分で完了しました。精度を落とさずに、取り込みの手間とトークン代をごっそり減らせるのが最大の価値です。

使いどころ:

• 社内向けのチャットアシスタントで、ユーザーごとの長い会話履歴を覚えさせたいとき。記憶基盤に何を選ぶか決める前に、まず Raw-RAG を基準線として測れます。
• 何百ターンも続くエージェントの対話ログから、あとで「先週決めた方針は何だったか」と引きたいとき。筆者の見方では、要約で上書きするより、生ログを残して検索するほうが取りこぼしを抑えられそうです。
• すでに Mem0 のような記憶システムを使っている現場。論文では Mem0 の UPDATE/DELETE を止めて追記だけにすると精度が上がったため、更新ロジックを見直す良いきっかけになります。

今日からできること: 本文には Raw-RAG のコードの公開先が書かれていません。ただ、構成は単純なので考え方はすぐ取り入れられます。履歴を256トークンの窓（重なり32トークン）に切る。タイムスタンプを付けたまま埋め込む。128件を取り出してリランカーで15件に絞る。時系列の解釈は読み手の LLM に任せる。論文では Qwen3-Embedding-4B と Qwen3-Reranker-4B の組み合わせも使っています。筆者の手元の小さな実験でも、加工した記憶より生の履歴を渡したほうが、「道すじが要る問い」にはっきり強いという結果が出ました（後述）。

向かない場面・前提: 評価は公開ベンチマーク上のオフラインの会話に限られます。対話型やマルチモーダルの運用での性能は示されていません。生の履歴を残すため、保存容量とプライバシー（削除要求への対応）は別に設計する必要があります。また、状態の再構成は読み手の力に左右されます。MEME の oracle 実験では、GPT-4o-mini の cascade の正答率は1.83%にとどまりました。弱い読み手を使う場合は、明示的な状態管理が役に立つ可能性を著者自身も残しています。

仕組み

Raw-RAG の流れは、取り込み時と質問時のふたつに分かれます。

図2　Raw-RAG の流れ。取り込み時と質問時の処理を順に示したもの。取り込みにLLMは使わない。

取り込み時は、LLM を一切使いません。各会話を、メッセージのタイムスタンプと画像のキャプション付きでテキストに直します。それを256トークンの窓（32トークン重ね）に切り、平らな索引に埋め込みます。事実の抽出・要約・グラフ化・更新は一切行いません。埋め込みは意味で探すための鍵として使い、読み手に渡すのは窓の元の文章そのものです。

質問時は、質問を埋め込み、コサイン類似度で近い128窓を取り出します。それをクロスエンコーダで1つずつ質問と組にして採点し直し、上位15件を選びます。選んだ証拠を質問と一緒に読み手の LLM に渡し、時系列の順序や状態の変化は読み手に解かせます。たとえるなら、議事録を要約メモに書き換えずにファイルに綴じておき、必要なときに該当ページを15枚抜き出して読ませるやり方です。

設計の妥当性はアブレーション（部品を1つずつ外したり変えたりする実験）で確かめています。MemoryAgentBench では、リランカーを外すと Total が3.92ポイント下がりました。最終件数を1件にすると11.73ポイント、120件にすると14.57ポイント下がりました。5、10、30、60件ではベースラインとの差が1.3ポイント以内に収まり、窓の大きさ128〜1,024でも有意な差は出ていません。リランクは不可欠だが、細かい数値は厳密でなくてもよい、という頼もしい結論です。

結果

主結果は、7つのベンチマーク×モデルの設定のうち6つで Raw-RAG が1位を獲得したことです [引用1]。LoCoMo では GPT-4o-mini で89.07（次点 MemMachine 88.12）、GPT-4.1-mini で93.70（次点 EverMemOS 93.05）を記録しました。LongMemEval は87.53で、Memora の87.40をわずかに上回りました。差が大きく開いたのは MemoryAgentBench で、GPT-4o-mini では48.32対 Memora の43.84、DeepSeek-V4-Flash では53.41対47.88と引き離しています。

図3　MemoryAgentBench の総合スコア（GPT-4o-mini）。MemoryAgentBench で、読み手を GPT-4o-mini にしたときの Overall（4能力の平均）を比べたもの。

負けた1つは、DeepSeek-V4-Flash での MEME です。MemMachine が1.52ポイント上回り、全履歴をそのまま入れる Full-context は Raw-RAG より19.98ポイント高くなりました。付録の PersonaMem-v2 でも、Raw-RAG は49.62%で7システム中3位でした（1位は EverMemOS の53.25%）。万能にどこでも勝つわけではありません。

予備実験では、Mem0 の書き込み判断のうち UPDATE と DELETE は、LoCoMo の33,902件中4.39%、LongMemEval の428,858件中2.46%しかありませんでした。それらを追記（ADD）と何もしない（NONE）に置き換えると、LoCoMo の精度は67.36%から69.42%へ逆に上がりました [引用2]。更新・削除をわざわざ行っても、得にならなかったわけです。

記憶管理を「足す」実験も同じ傾向を示しました。事実抽出を足すと Total は19.62ポイント下がり、とくにテスト時学習は47.68%から15.37%へ急落しました。要約の追加は5.81ポイント、グラフ展開は5.78ポイント下がっています。

なぜ勝てるのか。論文は、Raw-RAG が必要な証拠を含む質問の割合（カバレッジ）で最も優れているからだと解き明かします。MemoryAgentBench で45.29%、MEME で76.35%に達しました。MemoryAgentBench ではカバレッジがシステム間で19.07〜45.29%と大きくばらつく一方、証拠があるときの正答率は80.00〜89.71%の幅に収まっています [引用3]。さらに、答えの値が取れた問いのうち、それを導く道すじ（時系列や依存ルール）まで揃っていた割合は、Raw-RAG が62.34%で最も高く、MemU は9.62%にとどまりました。

最後に、各システムの記憶ストアを正解情報を使って全部見せる実験も行っています。それでも生の証拠（61.60%）には届かず、Raw-RAG は57.54%、MemMachine は57.46%でした。詰め込み上限を外すと、7つのストアすべてが生の証拠より7.58〜29.38ポイント低いままでした [引用4]。取り込み時の加工で失われた情報は、あとからの検索では取り戻しにくいことを示唆する結果です。

限界と注意

著者は、証拠が公開ベンチマーク上のオフライン会話に限られ、対話型・マルチモーダル・広い運用環境での性能は示していないと明記しています。生の履歴を残すやり方には、保存容量とプライバシーの懸念も伴います。状態の再構成は読み手の能力に依存します。また、記憶ストアを全部見せても残る差には、純粋な情報の損失だけでなく、証拠の並べ方や位置の影響（lost in the middle）も含みうると著者自身が注意を促しています。

比較の仕方にも注意が要ります。LoCoMo と LongMemEval では、Raw-RAG は先行研究と同じ設定に揃えて著者が測っていますが、比較相手の多くは公表済みのスコアです。また Raw-RAG の証拠は LongMemEval と MEME で平均1万トークンを超えていました。著者は5,000トークン上限での対照実験も行い、それでも Raw-RAG は競争力を保ったと報告しています。再現には、埋め込みモデル・リランカー・読み手の LLM（GPT-4o-mini、GPT-4.1-mini、DeepSeek-V4-Flash など）の API や計算資源が必要です。

筆者は論文を読んで解説しています。手元で試したのは下の小さな実験だけで、論文の結果の追試はしていません。

手元で試した結果

確かめたかったのは5.2〜5.3節の主張です。「状態が変わった後の値を出すには、依存のルールや時系列といった道すじが要る。生の履歴はそれを残すが、抽出・更新で加工した記憶は落とす」。論文の追試ではなく、この考え方を小さく試した実験です。検索は外し、読み手が受け取る証拠の形だけを比べました。

予想は「加工した記憶では、道すじが要る問いだけ落ちる」でした。日付つきの合成会話履歴と、そこから Mem0 風に作った記憶ストアを用意しました。記憶ストアは、明示された更新・削除は反映しますが、依存ルールや日付は値に置き換えて捨て、連鎖する更新は反映しません。条件Aは記憶ストアだけ、条件Bは生の履歴だけを根拠に答えさせます。モデルは claude-haiku-4-5-20251001 で、1問1回、設定は既定のまま。12問×2条件、計24回です。12問のうち6問は記憶ストアでも解ける単純な更新・削除・合計で、残り6問は連鎖更新・期間の計算・一時的な変更の取り消しなど、道すじが要る問題です。

たとえば旅行の問題では、参加者4人・宿代48000円を等分、交通費は「一人あたり宿代の半分」というルールのあとで、参加者が1人増え、宿代が75000円になります。生の履歴があればルールを今の値に当てはめ直して7500が出ます。しかし、ルールを値に置き換えた記憶では手が出せません。

結果は、条件Aが6/12問（50.0%）、条件Bが12/12問（100.0%）でした。平均入力は A が682.4トークン、B が704.9トークンでほぼ同じでした。一方、平均出力は A が959.6トークン、B が1726.8トークンと差がつき、生の履歴を渡したほうが長く推論していました。論文の言う「状態の再構成は読み手が担う」が、出力の長さという形で見えたのは興味深い発見です。

ただし限界は大きいです。記憶ストアは筆者が手で作ったもので、実在の記憶システムの出力ではありません。道すじを落とす問題を半分入れたのも意図的な設計なので、差の大きさは作り方しだいです。問題数も12問と少なく、検索の良し悪しは試していません。

手元で試すなら

本文には Raw-RAG のコードの公開先の記載がありません。構成要素として、本文には Qwen3-Reranker-4B のモデルカード（huggingface.co/Qwen/Qwen3-Reranker-4B）と、評価に使った MEME のコードとデータ（github.com/SeokwonJung-Jay/MEME-public）が挙がっています。text-embedding-3-small と Cohere Rerank-v3.5 の組み合わせでも評価されています。

原文からの引用

[引用1] Across LoCoMo, LongMemEval, MEME, and MemoryAgentBench, Raw-RAG ranks first among the compared memory systems in six of seven benchmark–model settings, outperforming the strongest compared agentic memory system by 0.13–5.53 points.

（訳）LoCoMo、LongMemEval、MEME、MemoryAgentBench を通じて、Raw-RAG は7つのベンチマーク×モデル設定のうち6つで、比較した記憶システムの中で1位となり、比較した中で最も強いエージェント記憶システムを0.13〜5.53ポイント上回った。

[引用2] Replacing UPDATE with append-only ADD and DELETE with NONE raises LoCoMo accuracy from 67.36% to 69.42%, without reducing any category score (Table 2).

（訳）UPDATE を追記のみの ADD に、DELETE を NONE に置き換えると、LoCoMo の精度は67.36%から69.42%に上がり、どのカテゴリのスコアも下がらなかった（表2）。

[引用3] Thus, systems differ more in supplying sufficient evidence than in answering correctly once it is supplied.

（訳）つまり、システム間の差は、十分な証拠が与えられたあとに正しく答えられるかよりも、十分な証拠を供給できるかのほうに大きく表れる。

[引用4] Removing the packing ceiling leaves all seven stores 7.58–29.38 points below raw evidence, with all paired 95% intervals for these gaps excluding zero.

（訳）詰め込みの上限を外しても、7つのストアはすべて生の証拠より7.58〜29.38ポイント低いままで、これらの差の対応のある95%区間はいずれもゼロを含まなかった。