UMI-on-Air: 機体特性を考慮した汎用視覚運動ポリシーの空中マニピュレーション展開

- UMI-on-Air は、embodiment-agnostic な manipulation policy を embodiment-aware に展開するためのフレームワーク。 - handheld gripper (UMI) で収集した多様で制約のない human demonstrations を用いて、汎化可能な visuomotor policies を学習する。 - 学習済み policy を aerial manipulators のような制約のある robotic embodiments へ転送する際の、制御・ロボットダイナミクスの不一致による out-of-distribution 挙動と実行性能低下を扱う。 - 推論時に高レベル UMI policy と低レベル embodiment-specific controller を結合する Embodiment-Aware Diffusion Policy (EADP) を提案する。

- 従来の embodiment-agnostic な visuomotor policy は、展開先 embodiment の制御・ダイナミクス制約を考慮せず、out-of-distribution 挙動や実行失敗を招きやすい。 - 本研究は、推論時に controller の tracking cost の gradient feedback を diffusion sampling に統合し、展開 embodiment に適した動的に実行可能な trajectory mode へ誘導する点が新しい。 - これにより test time での plug-and-play な embodiment-aware trajectory adaptation を実現する。 - unguided diffusion baselines と比較して、成功率・効率・外乱下の頑健性が向上したと報告している。

- handheld gripper (UMI) による多様な human demonstrations から、汎化可能な visuomotor policy を学習する。 - 推論時には、高レベル UMI policy と低レベル embodiment-specific controller を結合する Embodiment-Aware Diffusion Policy (EADP) を構成する。 - controller の tracking cost から得られる gradient feedback を diffusion sampling process に組み込み、trajectory 生成を展開 embodiment に合わせた動的に実行可能な mode へ誘導する。 - これにより、展開先ごとの追加学習なしに、test time で embodiment-aware な trajectory 適応を可能にする。

- 複数の long-horizon かつ high-precision な aerial manipulation tasks で検証している。 - unguided diffusion baselines と比較し、成功率・効率・外乱下での頑健性の改善を示している。 - さらに、実環境 (in the wild) で収集した UMI demonstrations を用い、未見環境での展開を実証している。 - code・data・checkpoints・result videos は umi-on-air.github.io で公開されている。

- 制約の強い embodiment への転送における制御・ダイナミクス不一致を、推論時の gradient feedback で緩和する枠組みを提示している。 - 多様かつ制約のない human demonstrations を、aerial manipulators を含む異なる embodiment へスケールする実用的経路を示すと主張している。 - 一方で、EADP の限界、tracking cost の設計依存性、他 embodiment への一般性、失敗事例などは要旨からは不明。

- 比較対象として明示されている unguided diffusion baselines に対応する Diffusion Policy 系の研究。 - handheld gripper (UMI) を用いた human demonstration 収集・学習に関する UMI 系の研究。 - aerial manipulation における制御・軌道生成の関連研究。 - diffusion sampling に制約や勾配情報を組み込む guided diffusion / cost-guided sampling 系の研究。