日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.00990

生成動画を模倣するロボットマニピュレーション:物理的実演なしで複雑タスクを実現

Robotic Manipulation by Imitating Generated Videos Without Physical Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

言語指示と初期画像からAIが生成した動画を模倣し、物理的な実演やロボット固有の訓練なしに、注ぐ・拭く・混ぜるなどの複雑な操作をロボットに実行させるシステムを開発した。

詳しい要約

1. どんなもの?

- 本論文は Robots Imitating Generated Videos (RIGVid) を提案するシステム論文 - 言語コマンドと初期 scene image を入力として受け取る - video diffusion model が potential demonstration videos を生成 - ロボットは物理的 demonstration や robot-specific training なしに複雑な manipulation を模倣 - 対象タスクは pouring, wiping, mixing など - 実世界評価を通じて生成 video の有効性を示す研究

2. 先行研究と比べてどこがすごい?

- 従来は physical demonstrations や robot-specific training を要することが多い - RIGVid は物理的 demonstration を一切必要としない点が新しい - AI 生成 video を supervision 源として利用する点が特徴 - 生成 video は real demonstrations と同等に有効であることを示す - 生成品質が上がると performance も向上することを示す - keypoint prediction using VLMs などより compact な代替手法を上回る - dense feature point tracking より strong 6D pose tracking が優れることを示す

3. 技術・手法の肝は?

- 入力は language command と initial scene image - video diffusion model で potential demonstration videos を生成 - vision-language model (VLM) が command に従わない結果を自動で filtering - 6D pose tracker が video から object trajectories を抽出 - trajectories を embodiment-agnostic に robot へ retargeting - 生成・選別・軌跡抽出・再ターゲティングのパイプラインが肝

4. どうやって有効だと検証した?

- extensive real-world evaluations を実施 - filtered generated videos が real demonstrations と同等に有効であることを確認 - 生成品質の向上に伴い performance が向上することを確認 - generated videos が keypoint prediction using VLMs より優れることを確認 - strong 6D pose tracking が dense feature point tracking より優れることを確認 - 詳細な実験設定やタスク数は要旨からは不明

5. 議論はある?

- 生成 video が manipulation の supervision 源として有効である可能性を示唆 - state-of-the-art off-the-shelf model の video が利用可能であると主張 - 生成品質への依存性が議論の対象 - 軌跡抽出手法の選択が性能に影響する点が議論 - 限界や失敗事例、計算コストの詳細は要旨からは不明

6. 次に読むべき論文は?

- video diffusion model を用いたロボット学習の関連研究 - vision-language model (VLM) による keypoint prediction の比較対象研究 - dense feature point tracking の関連手法 - 6D pose tracking の関連研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shivansh Patel, Shraddhaa Mohan, Hanlin Mai, Unnat Jain, Svetlana Lazebnik, Yunzhu Li

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

This work introduces Robots Imitating Generated Videos (RIGVid), a system that enables robots to perform complex manipulation tasks--such as pouring, wiping, and mixing--purely by imitating AI-generated videos, without requiring any physical demonstrations or robot-specific training. Given a language command and an initial scene image, a video diffusion model generates potential demonstration videos, and a vision-language model (VLM) automatically filters out results that do not follow the command. A 6D pose tracker then extracts object trajectories from the video, and the trajectories are retargeted to the robot in an embodiment-agnostic fashion. Through extensive real-world evaluations, we show that filtered generated videos are as effective as real demonstrations, and that performance improves with generation quality. We also show that relying on generated videos outperforms more compact alternatives such as keypoint prediction using VLMs, and that strong 6D pose tracking outperforms other ways to extract trajectories, such as dense feature point tracking. These findings suggest that videos produced by a state-of-the-art off-the-shelf model can offer an effective source of supervision for robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI