日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2509.20703

動画デモからの実行可能なロボット動作生成のための関節フロー軌道最適化

Joint Flow Trajectory Optimization For Feasible Robot Motion Generation from Video Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画デモを物体中心のガイドとして扱い、把持姿勢選択・物体軌道生成・衝突回避を統合した微分可能な最適化により、ロボットの関節制約を満たす動作を生成するフレームワークを提案。

詳しい要約

1. どんなもの?

- 人間の video demonstrations から robot manipulator の動作を学習する video-based Learning-from-Demonstration (LfD) の枠組み。 - 提案する Joint Flow Trajectory Optimization (JFTO) は、grasp pose 生成と object trajectory imitation を同時に扱う。 - 人間の手の動きを直接模倣せず、demonstration を object-centric なガイドとして利用する。 - 目的は embodiment differences と joint feasibility constraints に対処し、実行可能な robot motion を生成すること。

2. 先行研究と比べてどこがすごい?

- teleoperation や kinesthetic teaching に代わるスケーラブルな video demonstrations ベースの学習を狙う点。 - 人間の手の動きの直接模倣ではなく、object-centric guide として扱う点が特徴。 - flow matching を $\SE(3)$ に拡張し、object trajectory を確率的にモデル化する点。 - density-aware imitation により mode collapse を避ける点を主張。 - 具体的な先行研究との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- JFTO は grasp pose 選択、object trajectory 生成、collision-free 実行を統合する最適化フレームワーク。 - 三つの目的のバランスを取る:(i) feasible grasp pose の選択、(ii) demonstrated motions と整合する object trajectory の生成、(iii) robot kinematics 内での collision-free execution。 - flow matching を $\SE(3)$ に拡張し、object trajectories を確率的にモデル化。 - grasp similarity、trajectory likelihood、collision penalties を統一的な differentiable objective に統合する。

4. どうやって有効だと検証した?

- simulation と real-world experiments の両方で検証。 - 多様な real-world manipulation tasks に対して評価。 - 具体的なタスク内容、比較手法、評価指標、成功率などの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、embodiment differences の扱い、joint feasibility constraints の充足、mode collapse の回避、sim-to-real のギャップなどが考えられるが、要旨に明記された議論はない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として flow matching、$\SE(3)$ 上の確率的モデリング、video-based Learning-from-Demonstration (LfD)、object-centric imitation learning、grasp pose generation、trajectory optimization に関する文献が次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoxiang Dong, Matthew Johnson-Roberson, Weiming Zhi

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Learning from human video demonstrations offers a scalable alternative to teleoperation or kinesthetic teaching, but poses challenges for robot manipulators due to embodiment differences and joint feasibility constraints. We address this problem by proposing the Joint Flow Trajectory Optimization (JFTO) framework for grasp pose generation and object trajectory imitation under the video-based Learning-from-Demonstration (LfD) paradigm. Rather than directly imitating human hand motions, our method treats demonstrations as object-centric guides, balancing three objectives: (i) selecting a feasible grasp pose, (ii) generating object trajectories consistent with demonstrated motions, and (iii) ensuring collision-free execution within robot kinematics. To capture the multimodal nature of demonstrations, we extend flow matching to $\SE(3)$ for probabilistic modeling of object trajectories, enabling density-aware imitation that avoids mode collapse. The resulting optimization integrates grasp similarity, trajectory likelihood, and collision penalties into a unified differentiable objective. We validate our approach in both simulation and real-world experiments across diverse real-world manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI