日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

記憶/エピソード記憶arXiv:2606.03787

記憶に値するもの:驚きでゲートされたロボットのエピソード記憶

Worth Remembering: Surprise-Gated Robot Episodic Memory

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの長期記憶を選択的に保持するため、ベイズ的驚きをゲート機構として用いる手法を提案。V-JEPA-2の潜在空間で驚きを計算し、4Dシーングラフ空間記憶と組み合わせることで、ロボットの質問応答性能を向上させた。

詳しい要約

1. どんなもの?

- ロボットが一般的なタスクを解く際に、過去の経験を指示に結びつけるためのエピソード記憶の選択的保持手法を提案。 - 未来のタスクが事前に与えられない一般ロボットにおいて、汎用的に有用な記憶を選ぶため、Bayesian surpriseを記憶形成のゲーティング機構として用いる。 - V-JEPA-2が提供する意味的に豊かな展開非依存の潜在空間でsurpriseを計算し、4D scene graphベースの空間記憶を拡張する。

2. 先行研究と比べてどこがすごい?

- 従来のロボット記憶手法と比較して、時間的・空間的・二値質問応答で12%以上の性能向上を達成。 - 教師ありおよび非因果的手法を上回り、教師なし因果的手法でイベントセグメンテーションタスクにおいても優位性を示す。 - 未来のタスクが未知でも汎用的に有用な記憶を選択できる点が新しい。

3. 技術・手法の肝は?

- Bayesian surpriseを記憶形成のゲーティングに使用。 - V-JEPA-2の潜在空間でsurpriseを計算し、意味的に豊かな表現を活用。 - ゲート付きエピソード記憶を4D scene graphベースの空間記憶に統合。 - 教師なし因果的手法によりイベントセグメンテーションを実現。

4. どうやって有効だと検証した?

- ロボット質問応答のベンチマークで評価し、時間的・空間的・二値質問で12%以上の改善を確認。 - イベントセグメンテーションタスクで教師あり・非因果的手法と比較し、教師なし因果的手法の性能を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- V-JEPA-2、4D scene graph、Bayesian surprise、教師なし因果的手法に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nicolas Gorlo, Derek K. Wise, Alberto Speranzon, Luca Carlone

分類: cs.RO

原文アブストラクト

Robots solving generalist tasks need to be able to ground instructions in their past experience, since humans may refer to notable past events when giving a task (e.g., ``Take me to where the chemical spill happened yesterday''). Since memory limits make storing all past events infeasible, long-term robot memory must be selective, ideally retaining only those episodes with high utility for future tasks. However, future tasks are not typically given a priori for generalist robots. To select generically useful memories, we propose Bayesian surprise as a gating mechanism for memory formation. We present an approach to compute surprise in a semantically rich deployment-agnostic latent space provided by V-JEPA-2. Using our gated episodic memory to augment 4D scene graph-based spatial memory, we show a consistent improvement over state-of-the-art benchmarks in robot question answering, outperforming prior robot memory methods by $\geq12\%$ for temporal, spatial, and binary questions, and surpassing the performance of supervised and non-causal methods with an unsupervised causal method in event segmentation tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI