日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.11561

記憶を計画として:記憶に基づく計画立案による世界行動モデリング

Memory as Plans: World-Action Modeling with Memory-Grounded Planning

シェア:XThreadsFacebookLINEはてブBluesky

長期記憶が必要な非マルコフ的操作タスクに対し、記憶を言語指示と視覚文脈を含むセグメント記録として表現し、それを計画に変換して実行するMaP-WAMを提案した論文。

詳しい要約

1. どんなもの?

本論文は、非Markov的な長期的記憶を要するロボット操作タスク向けの枠組み MaP-WAM を提案する。 - 記憶を『計画(plans)』として扱い、memory-grounded planning と plan-conditioned execution に分解する。 - 長期の multimodal episodic context を実行器に毎回与えるのではなく、計画時の証拠として用いる。 - 記憶は言語指示と疎な視覚文脈を含む完了セグメント記録として表現する。 - これを次セグメントの言語計画と対応する視覚ガイダンスからなるコンパクトな計画に変換する。 - World-Action-Progress (WAP) モデルが未知長の各計画を実行し、action chunks と実行 progress を同時予測する。

2. 先行研究と比べてどこがすごい?

既存の記憶機構との違いが主張されている。 - 従来は language summaries、増大する visual windows、またはその組合せに依存し、fine-grained visual evidence を失う可能性や、history coverage と execution efficiency のトレードオフがあった。 - MaP-WAM は記憶を計画に変換し、executor の context length を固定に保つ。 - その結果、タスク履歴が伸びても executor の推論遅延がほぼ一定に保たれる。 - RMBench で 83.3% の成功率、実機タスクで 78.0% の成功率を達成し state-of-the-art と主張する。

3. 技術・手法の肝は?

技術の肝は記憶を計画に変換し、計画条件付きで実行する点にある。 - 記憶を言語指示と疎な視覚文脈からなる完了セグメント記録として表現する。 - この episodic memory を次セグメントの言語計画と視覚ガイダンスを含むコンパクトな計画へ変換する。 - World-Action-Progress (WAP) モデルが未知長の計画を実行し、action chunks と execution progress を同時予測する。 - 推論時に plan-observation alignment で予測 progress を校正し、適応的なセグメント遷移と閉ループの context 更新を行う。 - structured attention により planning と execution の両方で key-value caching を可能にする。

4. どうやって有効だと検証した?

RMBench と実機タスクで評価している。 - RMBench で 83.3% の成功率を達成し state-of-the-art と報告する。 - 実機タスクで 78.0% の成功率を達成する。 - タスク履歴が伸びても executor の推論遅延がほぼ一定であることを確認する。 - 詳細なベースライン比較やアブレーションの有無は要旨からは不明。

5. 議論はある?

要旨で述べられている範囲の議論は以下。 - 既存記憶機構の fine-grained visual evidence の喪失や history coverage と execution efficiency のトレードオフを問題視する。 - 記憶を計画として扱うことで executor の context length を固定し、履歴増大時の遅延増加を抑える。 - 限界や失敗事例、計算コストの詳細、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法を挙げる。 - language summaries に基づく記憶機構 - growing visual windows を用いる記憶機構 - それらの組合せによる記憶機構 - Markovian formulation のロボティックポリシー - 同分野の定番として long-horizon manipulation 向け memory-augmented policies や transformer-based policies

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sizhe Zhao, Haozhe Xie, Weiyu Zhao, Chenchu Zhang, Huan Wang, Chenyang Wang, Qinglin Liu, Shengping Zhang

分類: cs.RO

原文アブストラクト

Mainstream robotic policies often adopt a Markovian formulation, but many complex real-world manipulation tasks are inherently non-Markovian, requiring long-horizon memory beyond the current observation. Existing memory mechanisms often rely on language summaries, growing visual windows, or their combinations, and may therefore lose fine-grained visual evidence or face a trade-off between history coverage and execution efficiency. We introduce MaP-WAM, a Memory-as-Plans framework that decomposes memory-dependent world-action modeling into memory-grounded planning and plan-conditioned execution, and uses long-term multimodal episodic context as planning-time evidence rather than repeatedly conditioning the executor on the full history. MaP-WAM represents memory as completed segment records containing language instructions and sparse visual context, and converts this episodic memory into compact plans comprising the next segment-level language plan and corresponding visual guidance. A World-Action-Progress (WAP) model executes each plan over an unknown duration by jointly predicting action chunks and corresponding execution progress at inference time, calibrating predicted progress through plan-observation alignment for adaptive segment transitions and closed-loop context updates. MaP-WAM keeps the executor context length fixed, while structured attention further enables key-value caching in both planning and execution. MaP-WAM achieves state-of-the-art performance on RMBench with an 83.3% success rate and attains 78.0% success on real-robot tasks, while maintaining approximately constant executor inference latency as task history grows.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI