ActiveUMI: ロボット不要の人間デモンストレーションによる能動的知覚を伴うロボットマニピュレーション

- ロボット不要の人間デモンストレーションから両手(bimanual)マニピュレーション用データを収集しロボットへ転移するフレームワーク「ActiveUMI」 - 可搬な VR teleoperation kit と、ロボットの end-effector を模した sensorized controllers を組み合わせる - 操作者の頭部装着ディスプレイ(HMD)による能動的(active)な egocentric perception を記録する点が特徴 - 目的は、汎化性の高い実世界ロボット policy をスケーラブルに作るデータ収集経路の提示

- 先行研究との具体的比較は要旨からは不明 - 主張される差分は、in-the-wild の人間デモを両手タスクへ転移できる可搬システムである点 - さらに、操作者の意図的な頭部運動を記録し、visual attention と manipulation の対応関係を学習に取り込む active perception の捕捉を defining feature としている点

- 可搬 VR teleoperation kit と sensorized controllers で人間-ロボット間の kinematics を precise pose alignment により橋渡し - 可搬性とデータ品質のため次を導入 - immersive 3D model rendering - self-contained wearable computer - efficient calibration methods - HMD で操作者の頭部運動を記録し、egocentric な active perception をデータとして取得 - このデータのみで policy を学習

- 6つの難度の高い両手(bimanual)タスクで評価 - ActiveUMI データのみで学習した policy が in-distribution タスクで平均 70% の成功率 - 新規物体・新環境でのテストでも 56% の成功率を維持し、強い汎化を示す

- 可搬なデータ収集システムと学習された active perception の組み合わせが、汎化性と高性能を両立する実世界ロボット policy への有効かつスケーラブルな経路になり得ると結論 - 限界・失敗要因・タスク詳細・比較対象などの具体的議論は要旨からは不明

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、VR teleoperation によるデータ収集、robot-free な human demonstration 転移、imitation learning、egocentric/active perception を用いた manipulation policy 学習の代表的文献を次に読む候補とする(具体名は要旨からは不明)