日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.05773

PiL-World: VLAポリシーをループ内評価するためのチャンク単位ワールドモデル

PiL-World: A Chunk-Wise World Model for VLA Policy-in-the-Loop Evaluation

シェア:XThreadsFacebookLINEはてブBluesky

実ロボットの閉ループ評価を可能にするため、VLAポリシーのアクションチャンクに応じて将来の観測を生成するチャンク単位のワールドモデルを提案した。

詳しい要約

1. どんなもの?

- VLA policy の closed-loop 評価のための chunk-wise world model - 実ロボット実行なしで VLA の成功度を推定 - 現在の観測と VLA が出力した action trajectory から multi-view 未来観測を生成 - VLA 推論と world model 予測を交互に実行し closed-loop 評価を実現

2. 先行研究と比べてどこがすごい?

- 既存の world model は pre-collected action trajectory に沿った open-loop 予測に限定 - closed-loop VLA 評価では各 action chunk が前回実行の観測に条件付けられる必要がある - PiL-World はこの closed-loop 条件付けを可能にし、実機評価との誤差を 63.2% から 12.0% に低減

3. 技術・手法の肝は?

- action-derived visual control を head-view robot motion から抽出し video generation を条件付け - task execution context を符号化する latent histories を利用 - 相補的な multi-view 観測を同時予測 - 成功した teleoperated demonstrations に加え失敗実行 trajectory からも学習

4. どうやって有効だと検証した?

- 3 つの実 dual-arm manipulation task で評価 - 生成された imagined rollout が実ロボット実行と高い一致を示す - baseline と比較し、実機での VLA 成功率と closed-loop world-model 評価による推定成功率の誤差を 63.2% から 12.0% に削減

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の関連手法として VLA policy、world model、video generation ベースのロボット評価が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chong Ma, Taiyi Su, Jian Zhu, Jianjun Zhang, Zitai Huang, Yi Xu, Hanli Wang

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) policies operate in a closed loop in real-world robot tasks: a robot observes the scene, executes an action chunk, and conditions its next decision on the resulting observation. However, most existing world models for robot action evaluation are limited to open-loop prediction along pre-collected action trajectories. This prevents them from supporting closed-loop VLA evaluation, where each action chunk must be conditioned on the observation generated by the previous execution. To address this gap, we propose PiL-World, a chunk-wise world model designed for policy-in-the-loop VLA evaluation. Given the current observation and the action trajectory rolled out by a VLA policy, PiL-World generates multi-view future observations that are consistent with the VLA rollout and match the image inputs required by the policy. By alternating between VLA inference and world-model prediction, PiL-World enables closed-loop evaluation without real robot execution at every step. To improve rollout fidelity, PiL-World conditions video generation on action-derived visual control from head-view robot motion and latent histories that encode task execution context, while jointly predicting complementary multi-view observations. Beyond successful teleoperated demonstrations, it also learns from failed execution trajectories, helping the imagined rollouts better match the distribution of real policy executions. We evaluate PiL-World on three real dual-arm manipulation tasks. PiL-World generates imagined rollouts that are highly consistent with real robot executions. More importantly, compared with the baseline, it reduces the error between VLA success rates measured in real-world rollouts and those estimated through closed-loop world-model evaluation from 63.2% to 12.0%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI