マニピュレーション2025/7/1arXiv:2507.12898

Vidar: 汎用マニピュレーションのための身体性ビデオ拡散モデル

Vidar: Embodied Video Diffusion Model for Generalist Manipulation

インターネット規模で事前学習したビデオ拡散モデルを実機ロボットの軌道で追加学習し、マスク付き逆動力学モデルで適応させることで、未知のロボットでも20分の実演だけで新タスクや背景・視点変化に汎化する手法を提案。

詳しい要約

1. どんなもの？

- 実世界ロボット操作のための汎用フレームワーク Vidar の提案 - 構成要素は2つ - embodied video diffusion model: 汎化可能な事前分布(prior) - masked inverse dynamics model (MIDM): 対象embodimentへの適応器(adapter) - 目的は新規ロボットembodimentへの汎用manipulationのスケール化 - 「one prior, many embodiments」というレシピの実証を狙う

2. 先行研究と比べてどこがすごい？

- 従来は各プラットフォームごとに大規模で均質なdemonstrationsが必要だった - end-to-end pixel-to-action パイプラインは背景・視点変化で劣化しうる - VidarはInternet scaleで事前学習済みのvideo diffusion modelを流用 - 750K multi-view trajectories(3実機プラットフォーム)でembodied継続事前学習 - 未知ロボットで人間のdemonstrationsはわずか20分(典型データの1%) - それでもstate-of-the-artベースラインを上回る - 未見タスク・背景・カメラ配置へ汎化

3. 技術・手法の肝は？

- Internet scaleで事前学習したvideo diffusion modelをembodied領域へ継続事前学習 - 3つの実機プラットフォームから集めた750K multi-view trajectoriesを使用 - 統一observation spaceを導入 - robot, camera, task, scene のcontextを同時にエンコード - MIDM (masked inverse dynamics model) - 密なラベルなしでaction-relevantなpixel masksを学習 - priorを対象embodimentのaction spaceへgroundingしつつdistractorsを抑制

4. どうやって有効だと検証した？

- 未知のロボット上で人間のdemonstrationsを20分のみ使用(典型データの1%) - state-of-the-artベースラインと比較しVidarが上回ることを示す - 未見タスク・背景・カメラ配置への汎化を評価 - 詳細な実験設定・指標は要旨からは不明

5. 議論はある？

- 「one prior, many embodiments」のスケーラブルなレシピを示唆 - 強力で安価なvideo priors + 最小限のon-robot alignment - 主張の根拠は限定的な実機評価であり、他embodimentやタスクへの一般性は要旨からは不明 - MIDMのmask学習の安定性や失敗ケースの議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究 - video-based robot control の先行研究(具体名は要旨からは不明) - state-of-the-art baselines(具体名は要旨からは不明) - 関連手法として次に読む候補(一般名) - video diffusion model によるロボット制御 - inverse dynamics model - masked modeling / pixel mask 学習 - multi-view trajectory を用いたembodied事前学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yao Feng, Hengkai Tan, Xinyi Mao, Chendong Xiang, Guodong Liu, Shuhe Huang, Hang Su, Jun Zhu

分類: cs.LG, cs.AI, cs.CV, cs.RO

原文アブストラクト

Scaling general-purpose manipulation to new robot embodiments remains challenging: each platform typically needs large, homogeneous demonstrations, and end-to-end pixel-to-action pipelines may degenerate under background and viewpoint shifts. Based on previous advances in video-based robot control, we present Vidar, consisting of an embodied video diffusion model as the generalizable prior and a masked inverse dynamics model (MIDM) as the adapter. We leverage a video diffusion model pre-trained at Internet scale, and further continuously pre-train it for the embodied domain using 750K multi-view trajectories collected from three real-world robot platforms. For this embodied pre-training, we introduce a unified observation space that jointly encodes robot, camera, task, and scene contexts. The MIDM module learns action-relevant pixel masks without dense labels, grounding the prior into the target embodiment's action space while suppressing distractors. With only 20 minutes of human demonstrations on an unseen robot (1% of typical data), Vidar outperforms state-of-the-art baselines and generalizes to unseen tasks, backgrounds, and camera layouts. Our results suggest a scalable recipe for "one prior, many embodiments": strong, inexpensive video priors together with minimal on-robot alignment.

arXivで原文を読む →arXiv概要ページ

Vidar: 汎用マニピュレーションのための身体性ビデオ拡散モデル

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell