日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2607.09191

GenVid2Robot: 剛体幾何的一貫性によるビデオ生成からロボット操作への変換

GenVid2Robot: From Video Generation to Robot Manipulation via Rigid-Geometric Consistency

シェア:XThreadsFacebookLINEはてブBluesky

生成されたビデオの動きを、剛体幾何的一貫性に基づいて検証し、実ロボットで実行可能な操作軌道に変換するフレームワークを提案した。

詳しい要約

1. どんなもの?

GenVid2Robotは、生成されたビデオの動きを実ロボットの操作軌道に変換するためのフレームワークである。初期のRGB-D観測とタスク指示が与えられると、生成ビデオ候補からタスク関連の意味的アンカーをサンプリングし、それらを追跡して、疎な相対SE(3)モデルの下で2Dの動きが説明可能かどうかを検証する。幾何学的に一貫した動きのみをロボットに転送し、マスク制約付き把持で選択された実TCPポーズに相対動きを適用して、把持条件付き実行軌道を生成する。さらに、RGB-Dノイズやキャリブレーション誤差による実行ミスマッチを補正する有界な深度補償モジュールを含む。

2. 先行研究と比べてどこがすごい?

先行研究では、生成ビデオの視覚的妥当性のみに依存し、メトリックな幾何学、把持の接地、ロボットの運動学的実現可能性、実行時のフィードバックが欠如しており、直接的な軌道再生が実世界で信頼性に欠ける。GenVid2Robotは、生成ビデオを不確実な視覚運動仮説として扱い、疎なメトリック幾何学、把持制約、ロボット実現可能性チェック、有界な実行フィードバックで接地することで、生成ビデオ誘導操作の信頼性を向上させる点が新しい。

3. 技術・手法の肝は?

手法の肝は、初期フレームのRGB-Dから意味的アンカーをサンプリングし、生成ビデオ候補で追跡して、その2D運動が疎な相対SE(3)モデルで説明できるかを検証する点。幾何学的に一貫した運動のみを採用し、マスク制約付き把持で選択した実TCPポーズに相対運動を適用する。さらに、深度方向の誤差を補正する有界な深度補償モジュールを導入し、オンラインの完全な再計画を仮定せずに局所的な誤差を修正する。

4. どうやって有効だと検証した?

実ロボット実験により、生成ビデオ誘導操作の信頼性が向上することを実証した。具体的には、生成ビデオの視覚運動事前分布を疎なメトリック幾何学、把持制約、ロボット実現可能性チェック、有界な実行フィードバックで接地することで、操作の成功率や精度が向上することを示した。

5. 議論はある?

要旨からは、RGB-Dノイズ、キャリブレーション残差、接触による小さな変位が実行ミスマッチの原因として挙げられており、深度補償モジュールで対処しているが、完全なオンライン再計画は仮定していない。また、生成ビデオの品質や多様性が結果に影響する可能性が示唆されるが、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、ビデオ生成モデル(例: Video Diffusion Models)、ロボット操作の模倣学習、把持検出(例: GraspNet)、およびRGB-Dベースの操作計画に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haohui Huang, Xi Yuan, Panpan Liao, Tao Teng, Chenguang Yang, Jing Guo, Yi Guo

分類: cs.RO, cs.LG

原文アブストラクト

Generated videos provide useful visual motion priors for robot manipulation, but their visual plausibility does not imply physical executability. A generated video usually lacks metric geometry, grasp grounding, robot kinematic feasibility, and execution-time feedback, which makes direct trajectory replay unreliable in real-world manipulation. This paper presents GenVid2Robot, a rigid-geometric consistency framework that converts generated video motion into executable real-robot manipulation trajectories. Given an initial RGB-D observation and a task instruction, GenVid2Robot samples task-relevant semantic anchors from the real first frame, tracks these anchors through generated video candidates, and verifies whether the resulting 2D motion can be explained by first-frame RGB-D anchors under a sparse relative $SE(3)$ model. In this way, generated videos are treated as uncertain visual motion hypotheses rather than direct robot demonstrations. Only geometrically consistent motion is transferred to the robot. The accepted relative motion is then applied to the real grasp-time TCP pose selected by mask-constrained grasping, producing a grasp-conditioned execution trajectory that is consistent with both the visual motion prior and the physical grasp configuration. To reduce execution mismatch caused by RGB-D noise, calibration residuals, and small contact-induced displacement, a bounded depth-compensation module corrects local depth-direction errors without assuming full online replanning. Real-robot experiments demonstrate that GenVid2Robot improves the reliability of generated-video-guided manipulation by grounding visual motion priors with sparse metric geometry, grasp constraints, robot feasibility checking, and bounded execution feedback.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI