ワールドパイロット：世界行動事前知識で視覚言語行動モデルを操縦する

- Vision-Language-Action (VLA) モデルを対象としたフレームワーク World Pilot を提案。 - 静的な画像-テキスト事前学習に基づく VLA は、接触を伴う連続的な manipulation のダイナミクスを捉えられないという課題に対処。 - World-Action Model (WAM) からの prior を2つの経路で decision chain に注入する。 - Latent Steering は scene-evolution latent で perception layer を条件付けする。 - Action Steering は予測 trajectory を motion prior として action generator に供給する。 - LIBERO-Plus zero-shot OOD benchmark で Total success rate 84.7% の state-of-the-art を達成。 - 4つの manipulation タスクの実機設定すべてで最高 success rate を記録。

- 従来の VLA は大規模事前学習による semantic grounding を持つが、静的な image-text pair に基づくため manipulation の連続的・接触リッチな dynamics を捉えられない。 - World Pilot は WAM の prior を組み込むことで、semantic conditioning に加えて scene の予測的見方と trajectory レベルの motion hint を VLA に付与する。 - scene-evolution prior は action-post-training されていない video-pretrained world model から供給された場合でも有効。 - LIBERO-Plus zero-shot OOD benchmark で state-of-the-art の Total success rate 84.7% を達成。 - 実機4タスクすべてで最高 success rate を達成し、viewpoint・geometry・deformable state・pose の変化で…

- World-Action Model (WAM) から prior を取得し、2つの complementary pathway で decision chain に routing する。 - Latent Steering: scene-evolution latent で perception layer を条件付けする。 - Action Steering: 予測 trajectory を motion prior として action generator に供給する。 - これにより VLA は semantic conditioning に加え、予測的な scene の見方と trajectory レベルの motion hint を得る。 - scene-evolution prior は action-post-training されていない video-pretrained world model からでも有効に機能する。

- LIBERO-Plus zero-shot OOD benchmark で評価し、Total success rate 84.7% の state-of-the-art を達成。 - 実機で4つの manipulation タスクを評価し、すべての設定で最高 success rate を記録。 - viewpoint・geometry・deformable state・pose の変化下で最大のマージンを示した。

- 要旨からは不明。 - 明示的な limitation や failure case、計算コスト、WAM の学習要件などの議論は要旨には記載されていない。

- World-Action Model (WAM) - video-pretrained world model - Vision-Language-Action (VLA) モデル - LIBERO-Plus benchmark - 関連手法として action-post-training や trajectory-level motion prior を用いる研究