ピクセルからポーズへ：人間のデモンストレーションによる物体中心のツール操作学習

- 人間のデモンストレーションから直接ツール操作を学習するデータ効率の良い物体中心フレームワーク「P2P-T」を提案。 - 2段階アプローチ：物体中心のworld modelを事前学習して安定したpose priorを抽出し、それを効率的なpose-aware低レベルポリシーに統合。 - 現代のfoundation modelを活用した自動データ処理パイプラインにより、人間とロボットのアラインメントデータを完全に不要に。 - 複雑な実世界ツール操作タスクにおいて、最小限のタスクごとのfine-tuningで従来のstate of the artを73%上回る実行性能を達成。

- 従来の人間動画デモ利用手法は計算コストが高く、ドメインアラインメントのために人間-ロボットのペアデータに依存。 - 既存のstate of the artは長期的タスクは得意だが、複雑なツール操作に必要な繊細で精密な制御は苦手。 - P2P-Tは人間-ロボットアラインメントデータを完全に不要にし、訓練オーバーヘッドを大幅削減。 - 複雑な実世界ツール操作タスクで従来のstate of the artを73%改善し、標準的な大規模事前学習モデルでは到達できない性能を実現。

- 2段階アプローチ：第一に物体中心のworld modelを事前学習し、安定したpose priorを抽出。 - 第二にこれらのpriorを効率的なpose-aware低レベルポリシーに統合。 - 現代のfoundation modelを活用した堅牢な自動データ処理パイプラインを利用。 - これにより人間-ロボットアラインメントデータを完全にバイパスし、訓練オーバーヘッドを大幅に削減。

- 複雑な実世界ツール操作タスクにおいて、最小限のタスクごとのfine-tuningで実行性能を評価。 - 従来のstate of the artと比較して73%の改善を達成。 - 標準的な大規模事前学習モデルでは到達できないタスクで有効性を検証。

- 要旨からは不明。

- 要旨で参照/比較されている研究：人間動画デモを利用する最近のアプローチ、長期的タスクに優れる現在のstate of the art、標準的な大規模事前学習モデル。 - 関連手法：object-centric world model、pose-aware low-level policy、foundation modelを活用したデータ処理パイプライン。