日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2606.18960

Mem-World: 持続的なロボット操作のためのメモリ拡張型行動条件付きワールドモデル

Mem-World: Memory-Augmented Action-Conditioned World Models for Persistent Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

手首カメラの動きや遮蔽により過去の情報が失われる問題を解決するため、4Dサーフェルインデックスメモリを導入し、幾何学的に履歴フレームを検索・活用する行動条件付きワールドモデルを提案した。

詳しい要約

1. どんなもの?

- ロボット操作のための行動条件付き世界モデル - 多視点・記憶拡張型の Mem-World を提案 - 中核は W-VMem: 4D wrist-view-centered surfel-indexed memory - 履歴観測を時間発展する表面要素に紐付け - 将来行動に条件づけた幾何認識的な履歴検索を実現 - 複雑な操作で持続的 rollouts を生成

2. 先行研究と比べてどこがすごい?

- 既存の行動条件付き世界モデルは持続的世界モデリングが困難 - エンドエフェクタ遮蔽や手首カメラの急激な動きで現在観測が不十分 - 過去フレームの忘却や幻覚が生じる - 既存の記憶検索戦略は動的操作で有益な履歴を特定できない - Mem-World は幾何認識的検索でこれに対処

3. 技術・手法の肝は?

- W-VMem: 4D wrist-view-centered surfel-indexed memory - 履歴観測を時間発展する表面要素にアンカー - シーン要素の観測時刻と位置を明示的にモデル化 - 将来行動に条件づけた幾何認識的履歴フレーム検索 - 生成時は surfel-based rendering と scoring で履歴選択 - 有益で冗長でないコンテキストを提供

4. どうやって有効だと検証した?

- 複雑な操作シナリオで持続的 rollouts を生成 - Ctrl-World より信頼性の高い policy evaluation を実現 - 実世界性能との Pearson 相関を 14.5% 改善 - 合成データ生成による policy improvement を実証 - 長期的タスクで成功率 58% から 72% に向上

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- Ctrl-World - 行動条件付き世界モデル - 記憶拡張型世界モデル - surfel-based rendering - ロボット操作の policy evaluation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zirui Zheng, Jiaqian Yu, Xiongfeng Peng, jun shi, Mingyi Li, Chao Zhang, Weiming Li, Dong Wang, Huchuan Lu, Xu Jia

分類: cs.CV, cs.RO

原文アブストラクト

Action-conditioned world models have emerged as a promising paradigm for robot learning, offering a scalable alternative to costly real-world experimentation by generating action-consistent video rollouts. However, persistent world modeling remains challenging in manipulation: frequent end-effector occlusions and rapid wrist-camera motion make the current observation insufficient for predicting future views, causing models to forget or hallucinate scene details seen in earlier frames. Existing memory retrieval strategies often fail to identify informative history in dynamic manipulation scenarios. To address this limitation, we propose Mem-World, a memory-augmented multi-view action-conditioned world model. At its core, we present W-VMem, a 4D wrist-view-centered surfel-indexed memory that anchors historical observations to temporally evolving surface elements. By explicitly modeling when and where scene elements are observed, W-VMem enables geometry-aware retrieval of relevant history frames conditioned on future actions. During generation, relevant history frames are selected via surfel-based rendering and scoring, providing informative and non-redundant context for prediction. Extensive experiments show that Mem-World generates persistent rollouts in complex manipulation scenarios, enables more reliable policy evaluation than Ctrl-World, improving the Pearson correlation with real-world performance by 14.5\%, and supports effective policy improvement through synthetic data generation, increasing success rates from 58\% to 72\% on long-horizon tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI