日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.11135

AIM: 空間価値マップを用いた意図認識型統合世界行動モデリング

AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みのビデオ生成モデルを基盤に、将来の観測と空間価値マップを共同で予測し、意図認識型の注意機構と自己蒸留強化学習によりロボットの行動生成を高精度化する手法を提案した。

詳しい要約

1. どんなもの?

- ロボット制御のための統合world action model「AIM」を提案。 - ビデオ生成モデルの事前知識を活用し、将来の観測と空間的価値マップを共有Mixture-of-Transformersで同時にモデル化。 - 価値マップを介して操作意図を明示的に推論し、アクション生成を改善。 - RoboTwin 2.0で94.0%の平均成功率を達成。

2. 先行研究と比べてどこがすごい?

- 従来の統合world action modelはロボット固有の大量訓練なしに信頼できる行動を生成するのが困難。 - ビデオモデルはシーンの進展を捉えるが、行動生成には「どこで操作するか」と「操作意図」の明示的推論が必要。 - AIMは空間的価値マップを明示的インターフェースとして導入し、この構造的ミスマッチを解消。 - 長期的・接触に敏感な操作タスクで特に大きな改善を示す。

3. 技術・手法の肝は?

- 事前学習済みビデオ生成モデルを基盤とし、将来観測と価値マップを共有Mixture-of-Transformersで統合モデル化。 - intent-causal attentionにより、将来情報を価値表現を介してのみ行動ブランチに伝達。 - 自己蒸留強化学習段階を提案:ビデオ・価値ブランチを凍結し、行動ヘッドのみを最適化。 - 価値マップ応答から導出した密報酬とスパースなタスクレベル信号を併用。

4. どうやって有効だと検証した?

- 30Kの操作軌道からなるシミュレーションデータセットを構築。多視点観測、行動、価値マップ注釈を同期。 - RoboTwin 2.0ベンチマークで評価。 - 平均成功率94.0%を達成し、従来の統合world actionベースラインを大幅に上回る。 - 長期的・接触に敏感なタスクでの改善が顕著。

5. 議論はある?

- 明示的な空間意図モデリングが視覚的世界モデルとロボット制御の橋渡しとして有効であることを示唆。 - 長期的・接触に敏感な操作タスクでの改善が特に顕著。 - 要旨からは、限界や今後の課題についての議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:既存のunified world action models、pretrained video generation models。 - 関連手法:RoboTwin 2.0ベンチマーク、Mixture-of-Transformers、intent-causal attention、self-distillation reinforcement learning。 - 同分野の定番:world models、video generation models、robot manipulation benchmarks。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liaoyuan Fan, Zetian Xu, Chen Cao, Wenyao Zhang, Mingqi Yuan, Jiayu Chen

分類: cs.RO, cs.LG

原文アブストラクト

Pretrained video generation models provide strong priors for robot control, but existing unified world action models still struggle to decode reliable actions without substantial robot-specific training. We attribute this limitation to a structural mismatch: while video models capture how scenes evolve, action generation requires explicit reasoning about where to interact and the underlying manipulation intent. We introduce AIM, an intent-aware unified world action model that bridges this gap via an explicit spatial interface. Instead of decoding actions directly from future visual representations, AIM predicts an aligned spatial value map that encodes task-relevant interaction structure, enabling a control-oriented abstraction of future dynamics. Built on a pretrained video generation model, AIM jointly models future observations and value maps within a shared mixture-of-transformers architecture. It employs intent-causal attention to route future information to the action branch exclusively through the value representation. We further propose a self-distillation reinforcement learning stage that freezes the video and value branches and optimizes only the action head using dense rewards derived from projected value-map responses together with sparse task-level signals. To support training and evaluation, we construct a simulation dataset of 30K manipulation trajectories with synchronized multi-view observations, actions, and value-map annotations. Experiments on RoboTwin 2.0 benchmark show that AIM achieves a 94.0% average success rate, significantly outperforming prior unified world action baselines. Notably, the improvement is more pronounced in long-horizon and contact-sensitive manipulation tasks, demonstrating the effectiveness of explicit spatial-intent modeling as a bridge between visual world modeling and robot control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI