日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット制御arXiv:2605.10942

HarmoWAM: 適応的世界行動モデルによる汎用性と精密操作の調和

HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

世界行動モデル(WAM)の2つのパラダイム間のトレードオフを解消するため、予測と反応の2つの専門家を世界モデルで統合し、適応的ゲーティングで切り替えるエンドツーエンドのWAMを提案した。

詳しい要約

1. どんなもの?

- ロボット制御のためのWorld Action Models (WAMs)の新しいパラダイムを提案する研究。 - 既存のWAMsには「Imagine-then-Execute」と「Joint Modeling」の2つがあり、前者は一般化可能な移動が得意だが精密な操作が苦手、後者は精密で時間的に一貫した行動生成が可能だが訓練分布の探索空間に制約されるというトレードオフがある。 - このトレードオフを解決するため、HarmoWAMを提案。世界モデルを活用して予測制御と反応制御を統合し、一般化可能な移動と精密な操作を両立する。 - 具体的には、世界モデルが時空間物理事前情報を提供し、2つの相補的な行動エキスパート(予測エキスパートと反応エキスパート)を条件付ける。 - プロセス適応ゲーティング機構により、切り替えのタイミングと場所を自動決定する。 - 評価では、6つの実世界ロボットタスクにわたる3つの訓練未見テスト環境を構築し、ゼロショット一般化を実証。 - 先行の最先端VLAモデルとWAMsをそれぞれ33%と29%のマージンで大幅に上回る性能を達成。

2. 先行研究と比べてどこがすごい?

- 既存のWAMsは「Imagine-then-Execute」と「Joint Modeling」の2つのパラダイムに大別され、前者は一般化可能な移動に優れるが相互作用の精度に欠け、後者は細粒度で時間的に一貫した行動生成を可能にするが訓練分布の探索空間に制約されるという根本的なトレードオフが存在する。 - HarmoWAMはこのトレードオフを克服し、世界モデルを完全に活用して予測制御と反応制御を統合することで、一般化可能な移動と精密な操作の両方を実現する。 - 従来の最先端VLAモデルやWAMsと比較して、ゼロショット一般化においてそれぞれ33%と29%の大幅な性能向上を達成。 - 特に、背景、位置、物体意味論の変動を含む訓練未見環境での強力な一般化性能が際立っている。

3. 技術・手法の肝は?

- 世界モデルが時空間物理事前情報を提供し、2つの相補的な行動エキスパートを条件付ける。 - 予測エキスパート:潜在ダイナミクスを活用して反復的な行動生成を行う。 - 反応エキスパート:予測された視覚的進化から直接行動を推論する。 - プロセス適応ゲーティング機構:2つのエキスパート間の切り替えのタイミングと場所を自動的に決定する。 - これにより、世界モデルが反応エキスパートを駆動して探索空間を拡大し、予測エキスパートがタスクの異なる段階で精密な相互作用を実行することを可能にする。 - エンドツーエンドのWAMとして、予測制御と反応制御を統合する。

4. どうやって有効だと検証した?

- 6つの実世界ロボットタスクにわたる3つの訓練未見テスト環境を構築。 - これらの環境は、背景、位置、物体意味論の変動をカバーする。 - HarmoWAMはこれらのシナリオで強力なゼロショット一般化を達成。 - 先行の最先端VLAモデルとWAMsをそれぞれ33%と29%のマージンで大幅に上回る性能を示した。 - これにより、提案手法の有効性が実証された。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - ただし、既存のWAMsのトレードオフを指摘し、それを解決するアプローチを提案している点で、今後の研究に影響を与える可能性がある。 - 実世界タスクでの評価結果は良好だが、さらなる環境やタスクへの適用可能性については言及されていない。 - 計算コストやリアルタイム性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - Imagine-then-Executeアプローチ - Joint Modelingアプローチ - 最先端VLAモデル - 最先端WAMs - 関連手法: - World Models - Inverse Dynamics - Video Prediction - Process-Adaptive Gating Mechanism - 同分野の定番: - Vision-Language-Action (VLA) モデル - ロボット操作のための強化学習 - 模倣学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiuxuan Feng, Jiale Yu, Jiaming Liu, Yueru Jia, Zhuangzhe Wu, Hao Chen, Zezhong Qian, Shuo Gu, Peng Jia, Siwei Ma, Shanghang Zhang

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) have emerged as a promising paradigm for robot control by modeling physical dynamics. Current WAMs generally follow two paradigms: the "Imagine-then-Execute" approach, which uses video prediction to infer actions via inverse dynamics, and the "Joint Modeling" approach, which jointly models actions and video representations. Based on systematic experiments, we observe a fundamental trade-off between these paradigms: the former explicitly leverages world models for generalizable transit but lacks interaction precision, whereas the latter enables fine-grained, temporally coherent action generation but is constrained by the exploration space of the training distribution. Motivated by these findings, we propose HarmoWAM, an end-to-end WAM that fully leverages a world model to unify predictive and reactive control, enabling both generalizable transit and precise manipulation. Specifically, the world model provides spatio-temporal physical priors that condition two complementary action experts: a predictive expert that leverages latent dynamics for iterative action generation, and a reactive expert that directly infers actions from predicted visual evolution. To enable adaptive coordination, a Process-Adaptive Gating Mechanism is proposed to automatically determine the timing and location of switching between them. This allows the world model to drive the reactive expert to expand the exploration space and the predictive expert to perform precise interactions across different stages of a task. For evaluation, we construct three training-unseen test environments across six real-world robotic tasks, covering variations in background, position, and object semantics. Notably, HarmoWAM achieves strong zero-shot generalization across these scenarios, significantly outperforming prior state-of-the-art VLA models and WAMs by margins of 33% and 29%, respectively.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI