日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エージェントメモリarXiv:2606.22030

信念ベースのエージェントメモリはいつ役立つのか?信頼性条件付き更新と出典上限付きポイズニング防御

When Does Belief-Based Agent Memory Help? Reliability-Conditional Updating and Provenance-Capped Poisoning Defense

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルエージェントの長期記憶において、ベイズ信念更新が有効となる条件を分析し、信頼性条件付き更新と出典上限付き防御を提案した。

詳しい要約

1. どんなもの?

- LLMエージェントの長期記憶におけるbelief-based memoryの有効性を検討 - Nous:entity-attributeペアをカテゴリカル確率分布で表現し、Bayesian inferenceで更新 - information-theoretic surpriseがbelief revisionを駆動、entropy-based forgettingを採用 - 信頼性条件付き更新とprovenance-capped belief updatingを提案 - LoCoMoベンチマークと制御された矛盾・poisoningベンチマークで評価

2. 先行研究と比べてどこがすごい?

- 従来の会話記憶ベンチマークではBayesian belief updatingはlast-write-winsと比べ利点が小さいことを実証 - 矛盾や信頼性の異なる証拠を含む環境ではbelief updatingがlast-write-winsやraw-memory retrievalを大幅に上回る - 内容由来の信頼性は操作されやすいため、provenanceで信頼を制限する手法を提案 - volumetric poisoning攻撃に耐性を示しつつ、ユーティリティコストと実装要件を明らかに - 厳密なtoken-F1とLLM-as-judgeの間に27.5ポイントの乖離があることを定量化

3. 技術・手法の肝は?

- Nous:entity-attributeペアをカテゴリカル確率分布として表現 - closed-form Bayesian inferenceで更新 - information-theoretic surpriseがbelief revisionを駆動 - entropy-based forgettingで古い情報を忘却 - reliability-conditioned updating:epistemic languageから観測ごとの信頼性を推定 - provenance-capped belief updating:テキストの自信度ではなくソースのprovenanceで信頼を制限

4. どうやって有効だと検証した?

- LoCoMoベンチマークでの制御されたアブレーション - 制御された矛盾ベンチマークでbelief updating vs last-write-wins vs raw-memory retrievalを比較 - 制御されたmemory-poisoning実験でvolumetric poisoning攻撃への耐性を評価 - 同一出力に対するstrict token-F1とLLM-as-judgeの評価乖離を定量化

5. 議論はある?

- belief-based memoryは矛盾し信頼性の異なる証拠を推論する環境で最も有益 - 従来の会話リコールだけでは利点が限定的 - provenance-aware memoryのユーティリティコストと実装要件を指摘 - 長期記憶ベンチマークの再現性に関する懸念を提起

6. 次に読むべき論文は?

- LoCoMo benchmark - last-write-wins - raw-memory retrieval - Bayesian inference - information-theoretic surprise - entropy-based forgetting - LLM-as-judge - token-F1

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranav Singh

分類: cs.AI, cs.CL, cs.IR, cs.LG

原文アブストラクト

We investigate when belief-based memory actually improves large language model (LLM) agents. Our vehicle is Nous, a long-term memory architecture that represents each entity-attribute pair as a categorical probability distribution updated through closed-form Bayesian inference, with information-theoretic surprise driving belief revision and entropy-based forgetting. A controlled ablation on the LoCoMo benchmark shows that Bayesian belief updating alone provides little benefit over naive last-write-wins because existing conversational memory benchmarks rarely contain contradictory or differently reliable evidence. We then introduce reliability-conditioned updating, estimating per-observation reliability from epistemic language, and show on a controlled contradiction benchmark that belief updating substantially outperforms last-write-wins and raw-memory retrieval when observations differ in trustworthiness. Because content-derived reliability is itself vulnerable to manipulation, we further propose provenance-capped belief updating, where trust is bounded by source provenance rather than textual confidence. Under controlled memory-poisoning experiments, this approach resists volumetric poisoning attacks while revealing the utility costs and implementation requirements of provenance-aware memory. Finally, we quantify a 27.5-point discrepancy between strict token-F1 and LLM-as-judge evaluation on identical outputs, highlighting important reproducibility concerns for long-term memory benchmarks. Our results suggest that probabilistic belief-based memory is most beneficial in environments requiring reasoning over conflicting and differently trustworthy evidence, rather than conventional conversational recall alone.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI