計画/記憶2026/7/1arXiv:2607.14252

MEMORA: 一人称視点ビデオからの身体化された行動記憶による推論と計画

MEMORA: Embodied Action Memory from Egocentric Videos for Reasoning and Planning

ロボットの長期的な計画のために、一人称視点ビデオから経験を記憶し活用する「身体化された行動記憶」を実現するシステムを提案した。

詳しい要約

1. どんなもの？

MEMORAは、長期的なロボットプランニングのために、エゴセントリックビデオから経験を記憶として形成・維持・利用するEmbodied Action Memory (EAM)を実現するシステムである。EAMを、形成・統合・検索のライフサイクルと、Environment Memory, Entity Memory, Activity Memory, Inferred Knowledgeの4つの型付きストアで構成する。オンライン編集でオブジェクトの同一性と状態履歴を維持し、オフライン統合で反復経験を再利用可能な手順と参加者固有の規則性に抽象化する。MEMORA-Benchは、EPIC-KITCHENS-100拡張ビデオ45時間を18参加者分評価し、記憶に基づくプランニングと記憶評価タスクを行う。

2. 先行研究と比べてどこがすごい？

従来のロボットプランニングは現在のシーンからの予測に焦点を当て、過去の経験を記憶として活用する点が不十分だった。MEMORAは、記憶を明示的なライフサイクルと型付きストアでモデル化し、オンライン編集とオフライン統合を組み合わせることで、未見の目標に対するプランニングや記憶評価で優れた性能を示す。特に、制御されたベースラインと比較して、記憶評価精度を最大20.5ポイント向上させ、分布外のRobot-Grounded Planスコアを最大16.6%相対改善した点が新しい。

3. 技術・手法の肝は？

手法の肝は、EAMのライフサイクル（形成、統合、検索）と4つの型付きストアの設計にある。オンライン編集は、新しい観測が到着するたびにオブジェクトの同一性と状態履歴を維持する。オフライン統合は、反復経験を抽象化して再利用可能な手順と参加者固有の規則性を抽出する。これにより、記憶が永続的な状態として保持され、後の意思決定に利用される。また、4つのオープンウェイト言語モデルを評価し、フルMEMORA（編集、型付きストア、統合を組み合わせたもの）が最も強い結果を示した。

4. どうやって有効だと検証した？

有効性は、MEMORA-Benchを用いて検証された。これは、EPIC-KITCHENS-100の拡張ビデオ45時間を18参加者分使用し、記憶に基づくプランニング（未見の目標を含む）と補完的な記憶評価タスクを評価する。4つのオープンウェイト言語モデルに対して、フルMEMORAは他の記憶条件と比較して最も強い総合結果を達成した。具体的には、記憶評価精度を最強の制御ベースラインより最大20.5ポイント向上させ、分布外のRobot-Grounded Planスコアを最大16.6%相対改善した。さらに、定性的な2タスクのロボット展開研究で、記憶に基づく言語プランが下流の制御と連携できることを示した。

5. 議論はある？

議論としては、記憶の編集と統合がプランニングに有効であることが示されたが、実際のロボット展開は定性的な2タスクに限られており、より複雑なタスクでの検証が必要である。また、評価はEPIC-KITCHENS-100のデータに基づいており、他の環境やタスクへの一般化は不明である。さらに、言語モデルの選択が結果に影響する可能性があり、モデルの規模やアーキテクチャによる違いは要旨からは不明。記憶の表現方法や統合の頻度など、ハイパーパラメータの影響も検討の余地がある。

6. 次に読むべき論文は？

次に読むべき論文は、要旨で参照されているEPIC-KITCHENS-100データセットに関する論文、および関連するロボットプランニングや記憶モデルの研究。具体的には、EPIC-KITCHENS-100の元論文、およびEmbodied AIやLong-horizon planningにおける記憶活用の先行研究（例：Memory-based reinforcement learning, Neural episodic control）が挙げられる。また、プロジェクトページに記載されている関連研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihao Yu, Xiu Yuan, Chongjie Zhang

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

Long-horizon robot planning requires more than predicting what actions will do next; it also requires memory of the embodied experience that makes future goals interpretable. People do not plan from the present scene alone: they draw on remembered places, object-state changes, prior procedures, and regularities revealed through repeated action. We formulate Embodied Action Memory (EAM) as the capability to form, maintain, and use such experience as a persistent memory state for later decisions. MEMORA realizes EAM with a formation-consolidation-retrieval lifecycle and four typed stores: Environment Memory, Entity Memory, Activity Memory, and Inferred Knowledge. Online editing maintains object identities and state histories as new observations arrive; offline consolidation abstracts repeated experience into reusable procedures and participant-specific regularities. MEMORA-Bench evaluates this lifecycle on 45 hours of EPIC-KITCHENS-100 extension video across 18 participants through memory-grounded planning, including previously unseen goals, and a complementary memory-assessment task. Across four open-weight language models, full MEMORA--combining editing, typed stores, and consolidation--achieves the strongest aggregate results among the evaluated memory conditions. It improves memory-assessment accuracy by up to 20.5 points over the strongest controlled baseline and improves out-of-distribution Robot-Grounded Plan score by up to 16.6% relative. A qualitative two-task robot deployment study further illustrates how memory-grounded language plans can interface with downstream control, while the overall results show that editable, consolidated memory can supply remembered context for robot planning. Project page: https://yuzihaowashu.github.io/MEMORA/

arXivで原文を読む →arXiv概要ページ

← 論文一覧