日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2607.18840

WorldScape Policy 2.0:推論強化メモリによる操縦可能なワールドアクションモデリングの実現

WorldScape Policy 2.0: Empowering Steerable World Action Modeling with Reasoning-Augmented Memory

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のためのワールドアクションモデルを拡張し、長期・短期メモリと推論強化により、タスク進行の追跡と細かい言語-映像-行動の対応付けを可能にした。

詳しい要約

1. どんなもの?

- WorldScape Policy 2.0は、視覚状態遷移とロボット行動を同時にモデル化するWorld Action Models (WAMs)の一種。 - 推論拡張されたlong short-term memoryを備え、制御可能なWAMを実現。 - 因果的短期視覚記憶と長期イベント記憶を組み合わせ、進捗を考慮した検索を行う。 - 高レベル指示からの自律計画と、細粒度テキスト・目標画像・動画コンテキストプロンプトからの制御可能な実行を統合インターフェースで提供。

2. 先行研究と比べてどこがすごい?

- 既存WAMsは限られた時間的文脈、粗いエピソードレベルの言語監督、主にテキストのみの条件付けに制約されていた。 - 本手法は、推論拡張メモリによりタスク進捗追跡と細粒度の言語-動画-行動グラウンディングを可能にし、視覚的文脈推論とクロスエンボディメント転送を改善。 - イベントレベルの指示意味論を潜在計画経路に転送するsemantic forcingを導入。 - 約500万のイベントセグメントを含むManipEvent-5Mデータセットを構築し、細粒度マルチモーダル制御を実現。

3. 技術・手法の肝は?

- 因果的短期視覚記憶:最近の観測をDiT prefillとして供給し、局所的な相互作用ダイナミクスを保持。 - 長期イベント記憶:過去のVLM出力をglobal-history、local-active、event-boundary表現に組織化し、進捗認識検索を実行。 - 検索された履歴が知覚と自己回帰生成計画トークンを拡張し、暗黙のサブゴール条件を生成。 - semantic forcingによりイベントレベル指示意味論を潜在計画経路に転送。 - ManipEvent-5M:行動軌跡、エピソードレベルタスク指示、セグメントレベルサブタスクキャプション、目標画像、動画デモを含むイベントグラウンデッドな embodied pretraining データセット。

4. どうやって有効だと検証した?

- シミュレーションと実世界プラットフォームの両方で実験を実施。 - 長期的自律計画、細粒度指示追従、in-context適応において優れた能力を実証。 - 具体的な評価指標やベースラインとの比較数値は要旨からは不明。

5. 議論はある?

- 要旨からは、手法の限界や失敗事例、計算コスト、データセットのバイアスなどに関する議論は不明。 - 今後の課題や倫理的考慮についても要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:既存のWorld Action Models (WAMs)、DiT、VLM。 - 関連手法:World Models、Vision-Language-Action (VLA) モデル、long short-term memory、semantic forcing。 - データセット:ManipEvent-5M。 - 同分野の定番:RoboNet、BridgeData、RT-1、RT-2などが考えられるが、要旨に明示なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haisheng Su, Zongdai Liu, Xin Jin, Haoxuan Dou, Chengming Hu, Baorun Li, Zhanwang Liu, Ruiyan Xu, Jianjie Fang, Xin Zhang, Zhenjie Yang, Xue Yang, Chen Gao, Junchi Yan, Yong Li, Wei Wu

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) offer a promising paradigm for robotic manipulation by jointly modeling visual state transitions and robot actions. However, existing WAMs are constrained by limited temporal context, coarse episode-level language supervision, and predominantly text-only conditioning, which hinder task-progress tracking and fine-grained language-video-action grounding while limiting visual-context reasoning and cross-embodiment transfer. In this paper, we introduce WorldScape Policy 2.0, a controllable WAM with reasoning-augmented long short-term memory. Its causal short-term visual memory supplies recent observations as DiT prefill to preserve local interaction dynamics, while its long short-term event memory organizes historical VLM outputs into global-history, local-active, and event-boundary representations for progress-aware retrieval. The retrieved history augments perception and autoregressively generated planning tokens, yielding an implicit subgoal condition for autonomous planning; semantic forcing further transfers event-level instruction semantics into this latent planning pathway. To establish fine-grained multimodal controllability, we construct ManipEvent-5M, an event-grounded embodied pretraining dataset containing nearly 5 million event segments with aligned action trajectories, episode-level task instructions, segment-level subtask captions, goal images, and video demonstrations. These designs provide a unified interface for autonomous planning from high-level instructions and controllable execution from fine-grained text, goal-image, or video-context prompts. Experiments in both simulation and real-world platforms demonstrate superior capabilities in long-horizon autonomous planning, fine-grained instruction following and in-context adaptation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI