日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.06963

VideoVLA:動画生成モデルを汎用ロボットマニピュレータに転換

VideoVLA: Video Generators Can Be Generalizable Robot Manipulators

シェア:XThreadsFacebookLINEはてブBluesky

大規模動画生成モデルをロボットの視覚-言語-行動モデルに転換し、言語指示と画像から行動列と将来の視覚結果を同時予測することで、新規物体や他機体スキルへの汎化を実現した。

詳しい要約

1. どんなもの?

- 提案手法: VideoVLA - 大規模 video generation model を robot manipulation 用の VLA に転換 - 入力: language instruction と image - 出力: action sequence と future visual outcomes を同時予測 - 基盤: multi-modal Diffusion Transformer - video, language, action の各モダリティを joint modeling - pre-trained video generative model を活用し visual/action forecasting を統合 - 目的: open-world 環境での generalization 向上 - novel tasks, objects, settings への適応 - 他 embodiment の skill 模倣も対象

2. 先行研究と比べてどこがすごい?

- 従来の VLA: 大規模 pre-trained understanding model を perception と instruction following に利用 - しかし novel tasks, objects, settings への generalization は限定的 - VideoVLA の差分: - understanding model ではなく video generation model を基盤に転換 - action だけでなく future visual outcomes も予測する dual-prediction strategy - 想像された future の品質と action 予測・task success の相関を示唆 - 他 embodiment の skill 模倣や novel objects 対応など generalization を実証

3. 技術・手法の肝は?

- 中核: multi-modal Diffusion Transformer - video, language, action を joint modeling - pre-trained video generative model を利用 - 予測: language instruction と image から - action sequence - future visual outcomes - 設計思想: visual imagination を manipulation に統合 - 高品質な imagined future が reliable action prediction と task success に寄与 - 学習/推論の詳細な手順は要旨からは不明

4. どうやって有効だと検証した?

- 実験で確認: - 高品質な imagined futures が reliable action predictions と task success に相関 - visual imagination の manipulation における重要性を示唆 - 汎化性能: - 他 embodiment の skill 模倣 - novel objects への対応 - 具体的な benchmark, dataset, 評価指標, 比較手法は要旨からは不明

5. 議論はある?

- 主張: dual-prediction strategy が robot learning の paradigm shift を探索 - action とその視覚的帰結の同時予測 - manipulation system の generalization 能力を解放 - 限界・課題: - 要旨からは不明 - 議論の詳細: - 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - Vision-Language-Action (VLA) models - large pre-trained understanding models - large video generation models - multi-modal Diffusion Transformer - 関連手法: - Diffusion Transformer - video generative models - 同分野の定番: - robot manipulation における VLA - imitation learning - visual foresight

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yichao Shen, Fangyun Wei, Zhiying Du, Yaobo Liang, Yan Lu, Jiaolong Yang, Nanning Zheng, Baining Guo

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Generalization in robot manipulation is essential for deploying robots in open-world environments and advancing toward artificial general intelligence. While recent Vision-Language-Action (VLA) models leverage large pre-trained understanding models for perception and instruction following, their ability to generalize to novel tasks, objects, and settings remains limited. In this work, we present VideoVLA, a simple approach that explores the potential of transforming large video generation models into robotic VLA manipulators. Given a language instruction and an image, VideoVLA predicts an action sequence as well as the future visual outcomes. Built on a multi-modal Diffusion Transformer, VideoVLA jointly models video, language, and action modalities, using pre-trained video generative models for joint visual and action forecasting. Our experiments show that high-quality imagined futures correlate with reliable action predictions and task success, highlighting the importance of visual imagination in manipulation. VideoVLA demonstrates strong generalization, including imitating other embodiments' skills and handling novel objects. This dual-prediction strategy - forecasting both actions and their visual consequences - explores a paradigm shift in robot learning and unlocks generalization capabilities in manipulation systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI