日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.07619

GWM-VLA:視覚言語行動学習のための幾何認識潜在世界モデリング

GWM-VLA: Geometry-Aware Latent World Modeling for Vision-Language-Action Learning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの堅牢性を向上させるため、幾何情報を考慮した多視点状態符号化と潜在世界モデルを導入し、手首視点の予測と共有潜在行動表現によりロボット操作性能を高めた。

詳しい要約

1. どんなもの?

GWM-VLAは、ロボット操作のためのVision-Language-Action (VLA)モデルに、幾何学的に整合した潜在世界モデルを統合するフレームワークである。複数カメラの観測をVGGT-Ωで集約して幾何学認識のマルチビュー状態を構築し、選択したターゲットビュー(実験では手首ビュー)の次のステップのパッチトークンを予測する。共有の潜在アクション表現を世界モデルとフローマッチングアクションヘッドの両方に条件付け、潜在予測とロボットアクションの教師信号を共同で学習する。シミュレーションと実環境の両方で有効性とロバスト性を検証している。

2. 先行研究と比べてどこがすごい?

既存の潜在世界モデルはカメラビューを独立に符号化し、幾何学的関係を明示せずにシーン全体のダイナミクスを予測する。GWM-VLAは、マルチビュー集約による幾何学認識状態の構築と、全マルチビュー状態を予測せずにターゲットビューのみを予測することで、計算コストを抑えつつ幾何学情報を保持する点が新しい。また、潜在アクション表現を世界モデルとアクションヘッドで共有し、両方の教師信号で共同に学習する点も独自性がある。

3. 技術・手法の肝は?

手法の核は、(1) VGGT-Ωによるマルチビュー観測の集約で幾何学認識のマルチビュー状態を構築すること、(2) 集約後のパッチトークンとレジスタートークンを用いて、選択したターゲットビューの次ステップのパッチトークンを予測する潜在世界モデル、(3) 共有潜在アクション表現を世界モデルとフローマッチングアクションヘッドの両方に条件付け、潜在予測とロボットアクションの教師信号で共同に学習すること。ターゲットビューとして手首ビューを選び、エンドエフェクタの動きと局所的なグリッパー物体相互作用に焦点を当てる。

4. どうやって有効だと検証した?

シミュレーションと実世界の両方の環境で実験を行い、GWM-VLAの有効性とロバスト性を検証した。具体的なベンチマークや比較対象は要旨からは不明だが、視覚的・環境的変化に対する頑健性が向上したと報告されている。

5. 議論はある?

要旨からは、ターゲットビューを手首ビューに限定している点や、全マルチビュー状態を予測しないことによる情報損失の可能性、VGGT-Ωの計算コストなどが議論の余地として考えられるが、要旨には明示的な議論は記載されていない。また、実世界での汎化性能や他のタスクへの適用可能性も不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Vision-Language-Action (VLA)モデル、潜在世界モデル、VGGT-Ω、フローマッチングアクションヘッドなどが挙げられる。具体的な論文名は不明だが、これらの手法の元となった論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanping Zhao, Hang Yu, Yiwei Wang, Chen Ye, Siyu Tian, Di Zhang, Qingjun Wang, Qian Chen, Junqiao Zhao, Chen Ye, Guang Chen

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models achieve strong robotic manipulation performance but often degrade under visual and environmental shifts. Latent world modeling offers a promising approach to improving robustness, yet existing methods commonly encode camera views independently and predict holistic scene dynamics without explicitly modeling their geometric relationships. We propose GWM-VLA, a geometry-aware latent world modeling framework for VLA learning. GWM-VLA combines geometry-aware multi-view state encoding, global context-conditioned target-view prediction, and shared latent-action representations grounded by robot-action supervision. Specifically, VGGT-$\Omega$ jointly aggregates multi-view observations at each timestep to construct geometry-aware multi-view states. The latent world model predicts the next-step patch tokens of a selected target view using patch and register tokens obtained after multi-view aggregation, thereby retaining multi-view geometric information without predicting the complete multi-view state. We use the wrist view as the target in our experiments, placing greater emphasis on end-effector motion and local gripper-object interactions. Finally, the shared latent-action representations condition both the latent world model and the flow-matching action head, allowing latent-prediction supervision and ground-truth robot-action supervision to jointly shape the same latent-action representations. Experiments across both simulation and real-world environments demonstrate the effectiveness and robustness of GWM-VLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI