日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.14178

Gen2Real: 生成動画を活用したデモ不要の巧みなマニピュレーション

\textsc{Gen2Real}: Towards Demo-Free Dexterous Manipulation by Harnessing Generated Video

シェア:XThreadsFacebookLINEはてブBluesky

生成動画から手と物体の軌道を抽出し、物理整合性を考慮した最適化と強化学習でロボットハンドの把持スキルを学習する手法を提案。シミュレーションで77.3%の成功率を達成し、実機でも動作を実証した。

詳しい要約

1. どんなもの?

- 実演データなしで巧緻操作を学習する枠組み - 1本の生成動画からロボット技能を獲得 - 3要素の統合: 動画生成による実演生成、物理整合性を課す軌道最適化、実演学習 - 対象は grasping タスク

2. 先行研究と比べてどこがすごい?

- 従来は学習に大量の human demonstrations 収集が必要で高コスト - 本研究は生成動画1本で実演を代替 - 人手実演の収集コストを回避しつつ grasping 技能を獲得 - 自然言語で直接タスク指定できる柔軟性も示す

3. 技術・手法の肝は?

- 実演生成: video generation と pose/depth estimation で hand-object trajectories を生成 - 軌道最適化: Physics-aware Interaction Optimization Model (PIOM) で物理整合性を付与 - 実演学習: human motions を robot hand へ retargeting - 制御安定化に anchor-based residual Proximal Policy Optimization (PPO) を採用

4. どうやって有効だと検証した?

- 生成動画のみで学習した方策を評価 - simulation の grasping タスクで 77.3% の success rate - 実機ロボットで一貫した実行を確認 - ablation studies で各コンポーネントの寄与を検証

5. 議論はある?

- 生成動画から実世界実行への汎化可能性を主張 - 自然言語によるタスク指定の柔軟性と頑健性を強調 - 限界や失敗要因の詳細は要旨からは不明 - 実機評価の規模や定量性は要旨からは不明

6. 次に読むべき論文は?

- Physics-aware Interaction Optimization Model (PIOM) の原論文 - anchor-based residual Proximal Policy Optimization (PPO) 関連研究 - video generation を用いたロボット学習(例: 生成動画による実演生成)の関連研究 - human-to-robot retargeting の定番手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Ye, Yuhang Wu, Shuyuan Hu, Junliang Li, Meng Liu, Yongquan Chen, Rui Huang

分類: cs.RO

原文アブストラクト

Dexterous manipulation remains a challenging robotics problem, largely due to the difficulty of collecting extensive human demonstrations for learning. In this paper, we introduce \textsc{Gen2Real}, which replaces costly human demos with one generated video and drives robot skill from it: it combines demonstration generation that leverages video generation with pose and depth estimation to yield hand-object trajectories, trajectory optimization that uses Physics-aware Interaction Optimization Model (PIOM) to impose physics consistency, and demonstration learning that retargets human motions to a robot hand and stabilizes control with an anchor-based residual Proximal Policy Optimization (PPO) policy. Using only generated videos, the learned policy achieves a 77.3\% success rate on grasping tasks in simulation and demonstrates coherent executions on a real robot. We also conduct ablation studies to validate the contribution of each component and demonstrate the ability to directly specify tasks using natural language, highlighting the flexibility and robustness of \textsc{Gen2Real} in generalizing grasping skills from imagined videos to real-world execution.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI