Human2LocoMan: 人間データの事前学習による多様な四足歩行ロボットのマニピュレーション学習

- 四足歩行ロボット LocoMan の多様なマニピュレーション技能を、人間とロボット双方のデータから学習する cross-embodiment imitation learning システム。 - 人間と LocoMan の観測・行動空間を統一・モジュール化する teleoperation とデータ収集パイプラインを開発。 - 家庭内タスクを対象に unimanual/bimanual モードを扱う初の LocoMan 用マニピュレーションデータセットと、対応する人間データセットを構築。 - code・hardware・data をオープンソース化。

- 四足ロボットは locomotion は得意だが、スケーラブルに汎用マニピュレーション技能を獲得するのは困難という課題に対し、cross-embodiment の imitation learning で取り組む。 - 人間とロボットの観測・行動空間を統一・モジュール化し、異なる embodiment 間の構造的に modality が揃ったデータでの co-training/pretraining を可能にした点。 - LocoMan 向けのマニピュレーションデータセットを初めて構築し、対応する人間データセットも整備した点。 - 実世界6タスクで baseline 比 平均成功率 +41.9%、OOD 設定で +79.7% を報告。

- 人間と LocoMan の teleoperation・データ収集パイプラインを構築し、観測・行動空間を統一・モジュール化。 - 異なる embodiment 間で構造的に modality が揃ったデータに対する co-training と pretraining を支える効率的なモジュール化アーキテクチャを提案。 - 人間データでの pretraining を組み合わせ、ロボットデータ量が半分でも性能を維持できることを示す。 - 詳細なアルゴリズム構成は要旨からは不明。

- 実世界の6つのマニピュレーションタスクで検証。 - baseline 比で平均成功率 +41.9%、OOD 設定で +79.7% の改善。 - 人間データでの pretraining により、全体で +38.6%、OOD 設定で +82.7% の成功率改善。 - ロボットデータが半分の量でも一貫してより良い性能を達成。

- 人間データ pretraining が OOD 設定で特に大きな改善をもたらし、データ効率と汎化に寄与することを議論。 - ロボットデータ量を半減できる点を実用的利点として提示。 - 限界や失敗事例、タスク以外への一般化については要旨からは不明。

- 要旨で参照/比較されている baseline や具体的な prior 手法名は要旨からは不明。 - 関連手法として cross-embodiment imitation learning、teleoperation によるデータ収集、modularized architecture を用いた co-training/pretraining の代表的研究を次に読む候補として挙げる。 - LocoMan のハードウェア・データセット（プロジェクトページで公開）も参照候補。