日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34414

ワールドモデルからワールドアクションモデルへ:次状態予測の再考

From World Models to World Action Models: Rethinking Next-State Prediction

シェア:XThreadsFacebookLINEはてブBluesky

次状態の表現をRGBや単一特徴に固定せず、視覚・意味・幾何・相互作用の複数投影を動的にサンプリングして統合学習するCF-WAMを提案し、人間とロボットの経験を共有遷移学習に活かして制御性能と汎化を向上させた。

詳しい要約

1. どんなもの?

World Models の次状態予測を再考し、World-Action Models (WAMs) のための動的枠組み CF-WAM を提案する研究。 - 従来は次状態を RGB・単一 latent feature・固定の組合せに固定していた。 - CF-WAM は同一未来の visual/semantic/geometric/interaction 投影をサンプルし、共通の video 形式に標準化して統一的 WAM を監督する。 - これにより action 学習の inductive bias 制約を緩和し、Human と Robot の cross-embodiment 学習を可能にする。

2. 先行研究と比べてどこがすごい?

従来の WAM は次状態を訓練前に RGB・単一 latent feature・事前定義ターゲットの静的組合せに固定していた。 - そのため action 学習が特定表現の inductive bias に縛られていた。 - CF-WAM は次状態予測を動的にし、複数投影を共通 video 形式で統合監督する点が新しい。 - 異種 Human/Robot 経験を外観差を越えて共有 state-transition 学習に寄与させ、cross-embodiment 汎化を改善する。

3. 技術・手法の肝は?

CF-WAM は動的 next-state prediction フレームワーク。 - 同一未来の visual・semantic・geometric・interaction 投影をサンプリングする。 - それらを共通の video 形式に標準化する。 - 統一 WAM をこれら投影全体で監督する。 - 各投影が露わにする action 関連制約が訓練ステップで蓄積し、同一 action-conditioned future の複数投影を支える state-transition 構造を捉えさせる。 - この動的機構が Human と Robot 学習の cross-embodiment dynamics reference frame を提供する。

4. どうやって有効だと検証した?

実験により検証。 - CF-WAM は訓練効率と最終制御性能の両方を改善。 - Human 経験を policy 向上に効果的に変換。 - RoboCasa-GR1 で平均成功率 82.50% の state-of-the-art。 - LIBERO-Plus で 82.65%。 - 実世界評価で最大 84.00% を達成。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、投影の選択基準などは記述されていない。 - 議論の詳細は本文を参照する必要がある。

6. 次に読むべき論文は?

要旨で参照・比較されている研究は明示されていない。 - 関連手法として World Models、World-Action Models (WAMs)、cross-embodiment learning の既存研究を挙げる。 - ベンチマークとして RoboCasa-GR1、LIBERO-Plus が用いられている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tingyu Yuan, Ziming Ji, Biaoliang Guan, Wen Ye, Wenrui Tian, Zhaopeng Gu, Feihong Zhang, Xu Yang, Yan Huang, Zhaowen Li, Chaoyang Zhao, Jinqiao Wang

分類: cs.RO

原文アブストラクト

Predicting the next state is a core paradigm of World Models for modeling physical dynamics, emphasizing prediction fidelity. As World Models evolve into World-Action Models (WAMs), existing methods still fix the next state before training as RGB, a single latent feature, or a static combination of predefined targets, thereby constraining action learning to the inductive biases preserved by a particular representation. To address this limitation, we propose CF-WAM, a dynamic next-state prediction framework that samples visual, semantic, geometric, and interaction projections of the same future, standardizes them into a common video form, and supervises a unified WAM across these projections. The action-relevant constraints exposed by these projections accumulate across training steps, forcing WAM to capture the underlying state-transition structure that supports multiple projections of the same action-conditioned future. This dynamic mechanism also provides a natural cross-embodiment dynamics reference frame for Human and Robot learning. By jointly learning across different next-state parameterizations, heterogeneous Human and Robot experience can bypass appearance differences and directly contribute to shared state-transition learning, improving cross-embodiment generalization. Experiments show that CF-WAM improves both training efficiency and final control performance, while translating Human experience effectively into policy gains. CF-WAM achieves state-of-the-art performance on RoboCasa-GR1 with an average success rate of 82.50%, while reaching 82.65% on LIBERO-Plus and up to 84.00% in real-world evaluations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI