日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.07089

必要なときに夢を見る:適応的マルチモーダル推論による世界行動モデルの進化

Dreaming when Necessary: Advancing World Action Models with Adaptive Multi-Modal Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

世界行動モデル(WAM)の性能を高めるため、タスクの切り替え時にはテキスト推論、細かい操作時には視覚推論を動的に切り替える軽量ルータを導入したAdaWAMを提案した。シミュレーションと実世界のタスクで効率と性能が向上した。

詳しい要約

1. どんなもの?

- World Action Models (WAMs) の新手法 **AdaWAM** を提案。 - 適応的なマルチモーダル推論能力を持つ世界行動モデル。 - 軽量な **dynamic router** を統合し、タスク実行中に必要に応じてテキスト推論または視覚推論を自律的に起動。 - 長期的・複雑なタスクにおける embodied intelligence の向上を目指す。

2. 先行研究と比べてどこがすごい?

- 既存の WAMs は video prediction を action prior に過度に依存し、適応的なマルチモーダル推論を欠く。 - そのため長期的・複雑なタスクでの有効性が限定的だった。 - AdaWAM は実行コンテキストに応じて推論モードを切り替え、推論効率を大幅に改善しつつ、state-of-the-art の embodied policies を上回る。

3. 技術・手法の肝は?

- 観察: WAMs は実行コンテキストにより異なるマルチモーダル推論モードを必要とする。 - タスク遷移時: テキスト推論が高レベル行動予測に不可欠。 - 細粒度マニピュレーション時: 視覚推論が精密制御に重要。 - 提案: **AdaWAM** は軽量な **dynamic router** を統合。 - タスク実行中にテキストまたは視覚推論を必要に応じて自律的にトリガー。

4. どうやって有効だと検証した?

- シミュレーションおよび実世界の embodied タスクで実験。 - AdaWAM は推論効率を大幅に改善し、state-of-the-art の embodied policies を上回る性能を示した。 - コードとデモは https://adawam.github.io/ で公開。

5. 議論はある?

- 要旨からは不明。 - 具体的な議論や限界、失敗事例、計算コストの詳細などは記述されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存の **World Action Models (WAMs)**、**video prediction** を action prior とする手法、**state-of-the-art embodied policies**。 - 関連手法: **adaptive multimodal reasoning**、**dynamic router**、**embodied intelligence**。 - 同分野の定番: **Vision-Language-Action (VLA) models**、**world models**、**model-based reinforcement learning**。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinzhou Tang, Jingbo Xu, Yu Shang, Zihao Song, Chen Gao, Wei Wu, Yong Li

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) offer a promising approach to embodied intelligence, yet existing methods rely heavily on video prediction as action priors and lack adaptive multimodal reasoning, limiting their effectiveness on long-horizon, complex tasks. We observe that WAMs require different multimodal reasoning modes under different execution contexts: textual reasoning is essential during task transitions to guide high-level action prediction, while visual reasoning is critical during fine-grained manipulation for precise control. Motivated by this observation, we propose \textbf{AdaWAM}, a world action model with adaptive multimodal reasoning abilities. AdaWAM integrates a lightweight dynamic router that autonomously triggers textual or visual reasoning as needed during task execution. Experiments on both simulated and real-world embodied tasks show that AdaWAM substantially improves inference efficiency while outperforming state-of-the-art embodied policies. Codes and demos are available at: https://adawam.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI