日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2604.04502

Veo-Act: 最先端ビデオモデルはどこまで汎用ロボット操作を前進させられるか?

Veo-Act: How Far Can Frontier Video Models Advance Generalizable Robot Manipulation?

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成モデルVeo-3を高次プランナーとして使い、低次実行にはVLAポリシーを用いる階層的フレームワークVeo-Actを提案し、操作性能を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、Veo-3のような先進的なvideo generation modelが汎化可能なロボットマニピュレーションをどこまで支援できるかを調査する。 - まず、Veo-3が現在のロボット観測から将来の画像列を予測し、inverse dynamics model (IDM)が対応するロボット行動を復元するzero-shotアプローチ「Veo-3+IDM」を検討。 - IDMはrandom-play dataのみで訓練され、人間の監督や専門家のデモンストレーションを必要としない。 - シミュレーションと実世界で高次元dexterous handを用いて評価。 - Veo-3+IDMはタスクレベルの軌道をほぼ正しく生成できるが、低レベル制御精度が不十分でほとんどのタスクを確実に解決できない。 - そこで、Veo-3をhigh-level motion planner、VLA policyをlow-level executorとする階層型フレームワーク「Veo-Act」を開発。 - 最先端のvision-language-action policyのinstruction-follow…

2. 先行研究と比べてどこがすごい?

- 先行研究と比べて、frontier video models(Veo-3)の汎化能力をロボットマニピュレーションに活用する点が新しい。 - 従来のロボット学習では専門家デモや人間監督が必要なことが多いが、本手法のIDMはrandom-play dataのみで訓練可能。 - zero-shotアプローチ「Veo-3+IDM」は、ビデオモデルが物理的に妥当な未来運動を画像空間で生成できれば、IDMがそれを実行可能なロボット行動に変換できるという直感に基づく。 - しかし、低レベル制御精度が不十分であることを見出し、階層型フレームワークVeo-Actを提案。 - Veo-Actは、Veo-3をhigh-level motion planner、VLA policyをlow-level executorとして組み合わせ、最先端VLA policyのinstruction-following性能を大幅に改善。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- 技術の肝は、video generation model(Veo-3)をロボットマニピュレーションに活用する点。 - zero-shotアプローチ「Veo-3+IDM」:Veo-3が現在のロボット観測から将来の画像列を予測し、inverse dynamics model (IDM)が対応するロボット行動を復元。 - IDMはrandom-play dataのみで訓練され、人間の監督や専門家デモを必要としない。 - 階層型フレームワーク「Veo-Act」:Veo-3をhigh-level motion plannerとして使用し、VLA policyをlow-level executorとして使用。 - これにより、instruction-following性能を大幅に改善。 - 高次元dexterous handを用いた評価。

4. どうやって有効だと検証した?

- シミュレーションと実世界の両方で、高次元dexterous handを用いて評価。 - zero-shotアプローチ「Veo-3+IDM」は、タスクレベルの軌道をほぼ正しく生成できるが、低レベル制御精度が不十分でほとんどのタスクを確実に解決できないことを確認。 - 階層型フレームワーク「Veo-Act」は、最先端のvision-language-action policyのinstruction-following性能を大幅に改善することを示した。 - 具体的な評価指標やタスクの詳細は要旨からは不明。

5. 議論はある?

- ビデオ生成モデルは物理的ダイナミクスの理解を示し始めており、汎化可能なロボット学習に有用な要素となり得る。 - しかし、zero-shotアプローチでは低レベル制御精度が不十分であり、信頼性の高いタスク解決には課題が残る。 - 階層型フレームワークVeo-Actは、high-level planningとlow-level executionを分離することでこの問題を緩和。 - ビデオ生成モデルの進歩に伴い、その役割はさらに重要になる可能性がある。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてvision-language-action (VLA) policy、inverse dynamics model (IDM)、video generation model (Veo-3)が挙げられる。 - 同分野の定番として、ロボットマニピュレーションにおけるvision-language-actionモデルやvideo predictionモデルに関する論文を読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhongru Zhang, Chenghan Yang, Qingzhou Lu, Yanjiang Guo, Jianke Zhang, Yucheng Hu, Jianyu Chen

分類: cs.RO

原文アブストラクト

Video generation models have advanced rapidly and are beginning to show a strong understanding of physical dynamics. In this paper, we investigate how far an advanced video generation model such as Veo-3 can support generalizable robotic manipulation. We first study a zero-shot approach in which Veo-3 predicts future image sequences from current robot observations, while an inverse dynamics model IDM recovers the corresponding robot actions. The IDM is trained solely on random-play data, requiring neither human supervision nor expert demonstrations. The key intuition is that, if a video model can generate physically plausible future motions in image space, an IDM can translate those visual trajectories into executable robot actions. We evaluate this "Veo-3+IDM" approach in both simulation and the real world using a high-dimensional dexterous hand. We find that, owing to the strong generalization capability of frontier video models, Veo-3+IDM can consistently generate approximately correct task-level trajectories. However, its low-level control accuracy remains insufficient to solve most tasks reliably. Motivated by this observation, we develop a hierarchical framework, Veo-Act, which uses Veo-3 as a high-level motion planner and a VLA policy as the low-level executor, significantly improving the instruction-following performance of a state-of-the-art vision-language-action policy. Overall, our results suggest that, as video generation models continue to improve, video models can be a valuable component for generalizable robot learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI