日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.15692

mimic-video: VLAを超える汎化可能なロボット制御のためのビデオ行動モデル

mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs

シェア:XThreadsFacebookLINEはてブBluesky

大規模動画モデルを事前学習に用い、その潜在表現からフローマッチングでロボットの低レベル行動を生成するVideo-Action Modelを提案。シミュレーションと実機のマニピュレーションでVLAを上回り、サンプル効率10倍・収束速度2倍を達成した。

詳しい要約

1. どんなもの?

- ロボット操作のための Video-Action Model (VAM)『mimic-video』の提案 - 事前学習済みの Internet-scale video model と flow matching ベースの action decoder を組み合わせる - decoder は Inverse Dynamics Model (IDM) として機能し、video-space action plans の潜在表現から低レベル行動を生成 - 従来の Vision-Language-Action Models (VLAs) に対抗するパラダイムを提示

2. 先行研究と比べてどこがすごい?

- 従来の VLAs は大規模だが静的な web data で事前学習された vision-language backbone に依存 - そのため物理ダイナミクスや時間依存性をロボット軌道のみから暗黙推論する必要があり、大規模な expert data 収集の負担が持続 - 提案は video を事前学習に用いて semantics と visual dynamics を同時に獲得し、低レベル制御のみを残す - 結果として sample efficiency 10x、convergence speed 2x の改善を主張

3. 技術・手法の肝は?

- 事前学習済み Internet-scale video model を活用 - その latent representation を条件とする flow matching ベースの action decoder を設計 - decoder が Inverse Dynamics Model (IDM) として video-space action plans の潜在表現から低レベルロボット行動を生成 - video 事前学習で semantics と visual dynamics を jointly に捕捉し、制御タスクを分離

4. どうやって有効だと検証した?

- シミュレーションおよび実世界のロボット操作タスクで評価 - 従来の VLA アーキテクチャと比較して state-of-the-art 性能を達成と報告 - sample efficiency 10x、convergence speed 2x の改善を定量的に示す

5. 議論はある?

- vision-language pretraining は semantic priors には有効だが physical causality には blind という主張 - video による事前学習が物理理解と意味論の両立に有効という立場 - 具体的な限界や失敗ケース、計算コスト、video model の品質依存性などは要旨からは不明

6. 次に読むべき論文は?

- 比較対象である Vision-Language-Action Models (VLAs) の代表的研究 - Internet-scale video model の事前学習手法 - flow matching を用いた行動生成/模倣学習の関連研究 - Inverse Dynamics Model (IDM) を用いた表現学習の文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jonas Pai, Liam Achenbach, Victoriano Montesinos, Benedek Forrai, Oier Mees, Elvis Nava

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Prevailing Vision-Language-Action Models (VLAs) for robotic manipulation are built upon vision-language backbones pretrained on large-scale, but disconnected static web data. As a result, despite improved semantic generalization, the policy must implicitly infer complex physical dynamics and temporal dependencies solely from robot trajectories. This reliance creates an unsustainable data burden, necessitating continuous, large-scale expert data collection to compensate for the lack of innate physical understanding. We contend that while vision-language pretraining effectively captures semantic priors, it remains blind to physical causality. A more effective paradigm leverages video to jointly capture semantics and visual dynamics during pretraining, thereby isolating the remaining task of low-level control. To this end, we introduce mimic-video, a novel Video-Action Model (VAM) that pairs a pretrained Internet-scale video model with a flow matching-based action decoder conditioned on its latent representations. The decoder serves as an Inverse Dynamics Model (IDM), generating low-level robot actions from the latent representation of video-space action plans. Our extensive evaluation shows that our approach achieves state-of-the-art performance on simulated and real-world robotic manipulation tasks, improving sample efficiency by 10x and convergence speed by 2x compared to traditional VLA architectures.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI