日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.09730

ワールドトークン:訓練時ワールドモデリングによる身体化ポリシーの強化

World Tokens: Enhancing Embodied Policies with Training-Time World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルに、訓練時に未来ビデオのノイズ除去を条件付けるワールドアダプタを導入し、推論時にはビデオモデルを除去して効率的な行動生成を実現する新しいアーキテクチャを提案した。

詳しい要約

1. どんなもの?

World Tokensは、embodied policyのためのアーキテクチャで、World Adapterを中心に視覚言語理解、世界ダイナミクスモデリング、行動生成を橋渡しする。トレーニング中にworld modelingを用いて行動ポリシーを強化しつつ、デプロイ時にはオンラインのビデオモデル推論を排除し、効率的な実行を実現する。

2. 先行研究と比べてどこがすごい?

従来のVLAモデルは閉ループ制御に優れるが、物理シーンの時間的進化を明示的にモデル化しない。一方、WAMsは事前学習済みビデオワールドモデルを利用するが、推論コストが高い。World Tokensは、トレーニング時のみworld modelingを利用し、デプロイ時にはビデオモデルを除去することで、性能と効率を両立する点が新しい。

3. 技術・手法の肝は?

World AdapterがVLM特徴を固定数のworld tokensに変換し、それらが共同でファインチューニングされたfuture-video denoiserを条件付け、同時にaction expertの唯一の視覚言語コンテキストとして機能する。この共有条件付けにより、future-video denoisingからの勾配が行動予測に使われる表現を直接形成し、排他的ルーティングによりポリシーがその表現を迂回するのを防ぐ。デプロイ時にはworld-modelブランチを除去し、VLM、World Adapter、action expertのみを残す。

4. どうやって有効だと検証した?

2Bバックボーンとembodied action事前学習なしで、LIBEROで非常に競争力があり、SIMPLERで最高の平均結果を達成し、実世界のR1 Pro成功率をマッチしたaction-onlyベースラインより大幅に改善し、各アクションチャンクをVLAレベルのレイテンシで生成することを検証した。

5. 議論はある?

要旨からは、トレーニング時のworld modelingがどの程度の計算コスト増加をもたらすか、またworld tokensの数や表現の解釈性などに関する議論は不明。また、実世界評価の詳細や他のベースラインとの比較条件も要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、VLAモデル、world-action models (WAMs)、pretrained video world modelsが挙げられる。具体的には、Vision-Language-Actionモデルや、ビデオ生成を利用した世界モデルに関する論文が次に読むべき対象となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qu Tang, Benhui Zhuang, Bo Yuan, Xue Yu, Longteng Guo, Junlan Feng

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language-action (VLA) models are a widely adopted paradigm for embodied policies. They excel at efficient closed-loop control but do not explicitly model how physical scenes evolve as a task unfolds. Recently emerging world-action models (WAMs) leverage pretrained video world models to capture spatiotemporal evolution, yet retaining future generation or a large video backbone in the control loop substantially increases inference cost. We introduce World Tokens, an embodied policy architecture built around a World Adapter that bridges visual-language understanding, world-dynamics modeling, and action generation. It uses world modeling during training to enhance the action policy while preserving efficient deployment. Specifically, the World Adapter transforms VLM features into a fixed set of world tokens, which condition a jointly fine-tuned future-video denoiser and simultaneously serve as the action expert's sole visual-language context. This shared conditioning allows gradients from future-video denoising to directly shape the representation used for action prediction, while exclusive routing prevents the policy from bypassing that representation. At deployment, the world-model branch is removed, leaving only the VLM, World Adapter, and action expert, with no online video-model inference. With a 2B backbone and no embodied action pretraining, World Tokens is highly competitive on LIBERO, attains the best reported averages on SIMPLER, substantially improves real-world R1 Pro success over a matched action-only baseline, and generates each action chunk at VLA-level latency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI