日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.34105

X-World:動画事前知識を可変視点ロボット制御へ転移するフレームワーク

X-World: Transferring Video Priors to Variable-View Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

動画拡散モデルの事前知識を固定長トークン列と共有アクションエキスパートに通して、1〜3視点の可変カメラ入力に対応するロボット制御ポリシーへ転移する手法を提案し、LIBEROや実機双腕タスクで有効性を示した。

詳しい要約

1. どんなもの?

- 可変カメラ入力と異種action interfaceを持つロボット制御へ、video diffusion modelのpriorを転送するフレームワーク X-World を提案 - 固定長token sequenceを介してvideo priorを共有action expertへ渡す構成 - 1〜3視点の可変viewに対応し、closed-loop実行を想定 - LIBEROや実機dual-armタスクで評価

2. 先行研究と比べてどこがすごい?

- 事前学習済みvideo backboneを残しつつ、residual cross-view attention branchで可変視点数へ拡張 - dataset-specific moduleでnative state/action interfaceと共有action expertを橋渡しし、heterogeneous action interfaceを吸収 - video adaptationとaction-only pretrainingを分離し、後段でvideo backboneをfreezeする訓練設計 - LIBEROで98.5% mean success、LIBERO-Plusで76.5%を追加適応なしで達成 - OpenVLA-OFTと比較し、robot/language/lighting/layoutのshiftで改善

3. 技術・手法の肝は?

- 固定長token sequenceを共有action expertへのインタフェースとして使用 - residual cross-view attention branchをpretrained video backboneに追加し、元のself-attention pathは保持 - layer-aligned Q-Formerでbackbone featureを集約 - dataset-specific moduleでnative state/actionと共有action expertをマッピング - 訓練はvideo adaptation、action-only pretraining(video backbone freeze)、joint target-domain post-trainingの段階構成 - 推論は単一backbone passでvideo featureを抽出し、asynchronous action chunkingで実行

4. どうやって有効だと検証した?

- LIBEROで98.5% mean successを報告 - LIBERO-trained checkpointが追加適応なしでLIBERO-Plus 76.5%を達成 - seven-shift breakdownでrobot/language/lighting/layoutの改善とcamera/background/noiseの弱点をOpenVLA-OFT比で分析 - 実機dual-arm 6タスクで各20試行、81.7% mean success - ablationでvideo adaptation除去とcross-view fusion除去が最大のsuccess低下を引き起こすと報告

5. 議論はある?

- camera、background、noise shiftではOpenVLA-OFTに対して弱点が残る - 可変視点対応やcross-view fusionの寄与はablationで示されるが、各shiftの詳細な原因分析は要旨からは不明 - 実機評価は6 dual-armタスク・各20試行であり、他形態や大規模タスクへの一般化は要旨からは不明 - 訓練段階分離やfreeze戦略の感度は要旨からは不明

6. 次に読むべき論文は?

- OpenVLA-OFT(比較対象として明示) - LIBERO / LIBERO-Plus ベンチマーク関連研究 - video diffusion modelをrobot controlへ転送するvideo-prior系研究 - Q-Formerを用いたvision-language表現集約研究 - asynchronous action chunking関連のロボット政策研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chun Gu, Xiaofei Wei, Yiming Chen, Juntong Zhang, Li Zhang

分類: cs.RO

原文アブストラクト

Video diffusion models provide a source of interaction representations for robot control, but transferring these representations requires reconciling variable camera inputs with heterogeneous action interfaces and closed-loop execution. We present X-World, a framework that transfers a video prior through a fixed-length token sequence to a shared action expert. A residual cross-view attention branch extends a pretrained video backbone to one, two, or three views while retaining its original self-attention path. A layer-aligned Q-Former aggregates backbone features, and dataset-specific modules map between native state and action interfaces and the shared action expert. Training separates video adaptation from action-only pretraining by freezing the video backbone in the latter stage, followed by joint target-domain post-training. The policy extracts video features with a single backbone pass and uses asynchronous action chunking for execution. On LIBERO, X-World reaches 98.5\% mean success; its LIBERO-trained checkpoint obtains 76.5\% on LIBERO-Plus without further adaptation. The seven-shift breakdown reveals gains in robot, language, lighting, and layout perturbations, alongside weaknesses under camera, background, and noise shifts relative to OpenVLA-OFT. On six dual-arm real-world tasks, it achieves 81.7\% mean success over 20 trials per task. Removing video adaptation or cross-view fusion produces the largest observed success drops among the tested removals.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI