X-Diffusion: 異なる身体性の人間デモンストレーションから拡散ポリシーを学習

- 人間の動画・デモからロボットの diffusion policy を学習する cross-embodiment 学習フレームワーク X-Diffusion を提案する研究。 - 人間とロボットは embodiment が大きく異なり、人間の行動の多くはロボットで直接実行できない。 - しかし人間のデモには物体との相互作用の手がかりやタスク意図が豊富に含まれる。 - 目的は embodiment 固有で実行不可能な戦略を転写せず、粗い guidance のみを学習すること。 - 実ロボット 5 タスクの manipulation で評価。

- 人間動画をスケーラブルな訓練データ源として使う従来の発想に対し、実行不可能な行動をそのまま模倣しない点が新しい。 - 低品質データを扱う生成モデリングの最近の進展、特に Ambient Diffusion を cross-embodiment 学習に応用。 - 単純な co-training や手動のデータフィルタリングと比較して、平均成功率を 16% 改善。 - 収集が容易な人間動画を、ロボットの実行可能性を犠牲にせず活用できる。

- 人間の行動をロボット行動のノイズ付き対応物とみなすのが鍵となる着想。 - 順方向 diffusion 過程でノイズが増えると embodiment 固有の差異が薄れ、タスク関連の guidance が保たれると観察。 - Ambient Diffusion に基づき、ノイズを加えた人間行動に対して選択的に diffusion policy を訓練する。 - 高ノイズ timestep でのみ低品質(人間)データを組み込むことで、実行不可能な戦略の転写を避ける。

- 実世界の manipulation タスク 5 つで検証。 - naive な co-training および手動データフィルタリングとの比較を実施。 - 平均成功率が比較手法より 16% 向上したと報告。 - 詳細な実験設定やタスク内容は要旨からは不明。

- 人間行動をノイズ付きロボット行動とみなす仮定の妥当性や限界については要旨からは不明。 - どのノイズレベル・timestep で人間データを選択するかの設計感度は要旨からは不明。 - 5 タスク以外への汎化性や、人間動画の質・多様性の影響は要旨からは不明。 - プロジェクトサイト(https://portal-cornell.github.io/X-Diffusion/)が公開されている。

- Ambient Diffusion(本手法の基礎となる低品質データ対応の diffusion modeling 手法)。 - diffusion policy(ロボット模倣学習における定番の拡散ベース方策)。 - cross-embodiment learning / 人間動画からのロボット学習に関する関連研究(要旨では個別名の参照なし)。 - naive co-training や手動データフィルタリングとの比較研究。