操作学習/転移学習2026/6/1arXiv:2606.28813

Human2Any: 制約を考慮した構成的プランニングによる人間からロボットへの転移

Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning

人間の動画から物体間の相互作用の事前知識を学習し、ロボットの制約を考慮したプランニングと組み合わせることで、実ロボットのデモデータなしに多様なロボットへ操作スキルを転移するフレームワークを提案。

詳しい要約

1. どんなもの？

- 人間の動画からロボット操作のための再利用可能な物体中心の相互作用事前知識を学習するフレームワーク。 - 対象タスク文脈での実ロボット実演データを必要としない。 - 操作を物体間相互作用運動として表現し、embodiment固有の詳細を抽象化する。 - 学習した相互作用事前知識をロボット側のfeasibility推論とmotion planningで合成する。 - 同一の人間由来知識を異なるembodiment、scene geometry、task contextに適応可能。

2. 先行研究と比べてどこがすごい？

- 人間動画をスケーラブルなsupervision源として活用する点は先行研究と共通。 - 従来課題であるembodiment mismatch、scene variation、robot-specific feasibility constraintsに対処。 - 対象タスク文脈での実ロボット実演データを不要とする点が特徴。 - 物体中心の相互作用事前知識として抽象化し、異なるembodimentやscene geometryへ適応。 - 具体的な先行研究名や定量的比較は要旨からは不明。

3. 技術・手法の肝は？

- 操作をobject-object interaction motionとして表現。 - タスクに関連するscene変化を捉えつつ、embodiment固有の詳細を抽象化。 - 人間動画から再利用可能なobject-centric interaction priorsを学習。 - 学習したinteraction priorsをrobot-side feasibility reasoningとmotion planningで合成。 - これにより同一の人間由来知識を異なるembodiment、scene geometry、task contextに適応。

4. どうやって有効だと検証した？

- 多様なmanipulation設定で検証。 - 実世界実験としてFranka tabletop setupを実施。 - 実世界実験としてRBY-1 humanoid mobile robotを実施。 - 実世界ロボット訓練データなしでrobustなinteraction-centric manipulationを実証。 - 詳細な評価指標やベースライン比較は要旨からは不明。

5. 議論はある？

- 人間動画からの転移におけるembodiment mismatch、scene variation、robot-specific feasibility constraintsへの対処を議論。 - 実世界ロボット訓練データなしでの適応可能性を示す。 - 限界、失敗事例、定量的な議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている特定の研究は不明。 - 関連手法としてhuman videoからのrobot manipulation learning、object-centric interaction representation、motion planning、feasibility reasoningが挙げられる。 - 同分野の定番としてimitation learning、learning from demonstration、robot motion planningの文献を検討。 - プロジェクトページ: https://human2any.github.io/ を参照。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuo Cheng, Chuye Zhang, Alfred Cueva, Caelan Garrett, Ajay Mandlekar, Danfei Xu

分類: cs.RO, cs.AI

原文アブストラクト

Human videos are a scalable source of supervision for robot manipulation, as they are abundant and naturally capture rich object interactions. However, transferring human demonstrations to robots remains challenging due to embodiment mismatch, scene variation, and robot-specific feasibility constraints. We present Human2Any, a framework for learning reusable object-centric interaction priors from human videos without requiring real-world robot demonstrations in the target task contexts. Human2Any represents manipulation through object-object interaction motion, capturing task-relevant scene changes while abstracting away embodiment-specific details. It composes learned interaction priors with robot-side feasibility reasoning and motion planning, allowing the same human-derived knowledge to adapt to different embodiments, scene geometries, and task contexts. We validate Human2Any across diverse manipulation settings, including real-world experiments on a Franka tabletop setup and an RBY-1 humanoid mobile robot, demonstrating robust interaction-centric manipulation without real-world robot training data. Project website: https://human2any.github.io/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧