EgoBridge: 一人称視点の人間データから汎化可能な模倣学習のためのドメイン適応

- EgoBridgeは、egocentric human experience dataを活用してロボットマニピュレーションのend-to-end imitation learningをスケールさせるための統一的なco-training framework。 - 人間とロボットの間のvisual appearance、sensor modalities、kinematicsのdomain gapを埋めることを目的とする。 - domain adaptationにより人間データとロボットデータのpolicy latent spaceを明示的に整列させる。 - 実世界のsingle-armおよびbimanualマニピュレーションタスクで評価されている。

- human-augmented cross-embodiment baselinesと比較して、絶対policy success rateが44%改善。 - 人間データにのみ存在する新しいobjects、scenes、tasksにも汎化し、baselinesは完全に失敗する設定でEgoBridgeは機能する。 - 単なるデータ拡張ではなく、latent spaceの整列を通じて人間からロボットへの知識転移を図る点が先行手法と異なる。

- 人間とロボットのデータを統合するco-training frameworkを採用。 - joint policy latent featuresとactionsに対するdiscrepancyをOptimal Transport (OT)に基づいて測定する。 - その尺度を用いて、人間ドメインとロボットドメインの間で整列しつつ、policy learningに重要なaction-relevant informationを保持するobservation representationsを学習する。

- 3つの実世界single-armおよびbimanualマニピュレーションタスクで評価。 - human-augmented cross-embodiment baselinesと比較して絶対policy success rateが44%改善したと報告。 - 人間データにのみ現れる新しいobjects、scenes、tasksへの汎化を検証し、baselinesが完全に失敗する中でEgoBridgeが汎化することを示した。

- 要旨からは不明。 - 実世界3タスクでの結果と汎化性能が示される一方、限界や失敗事例、計算コスト、OTに基づくdiscrepancyの感度などについての議論は要旨には記載されていない。

- human-augmented cross-embodiment baselines（要旨で比較対象として言及）。 - Optimal Transport (OT)に基づくdomain adaptationを用いた模倣学習・表現学習の関連研究。 - egocentric human dataを用いたrobot manipulationのcross-embodiment imitation learningに関する研究。