シミュレーションでの視覚的器用さの事前学習

本論文は、器用な多指ロボット操作のための事前学習フレームワークであるSimulation Pre-training for Dexterity (SPD)を提案する。SPDは、VRヘッドセットを用いて人間が仮想オブジェクトを操作するシミュレーションデータを収集し、そのデータでcausal transformerを事前学習する。その後、実世界のタスクで少量の物理デモンストレーションを用いてファインチューニングすることで、スクラッチからの学習よりも高い性能を達成する。

従来の大規模事前学習は、単純なパラレルジョーグリッパを備えたデータセットとembodimentに依存しており、多指ハンドはデータ不足に悩まされていた。実世界のテレオペレーションはコストが高く、人間の手のビデオはembodimentが異なり、ポーズ推定やリターゲティングが必要で損失が生じる。SPDは、シミュレーション内でVRを用いてデータを収集することで、on-embodimentでロボット不要のデータ収集を実現し、データ不足の問題を解決する点が新しい。

SPDの手法の肝は、シミュレーション内で人間がVRヘッドセットを装着して仮想オブジェクトを操作し、ロボットのembodimentに一致した軌道データを収集することである。収集したデータを用いて、causal transformerをシーケンスモデリング目的で事前学習する。実世界でのファインチューニングでは、1〜2時間の物理デモンストレーションを使用し、履歴条件付けと短いアクションチャンクを利用してリアクティブな制御を実現する。

5人のオペレーターが1週間で75時間のマルチタスクの器用な操作データを収集し、56-DoFの両手器用セットアップで実世界タスクをファインチューニングして評価した。スクラッチからのbehavior cloningポリシーと比較し、SPDが優れていることを示した。また、履歴条件付けと短いアクションチャンクの効果を測定するアブレーション研究も行った。

要旨からは、シミュレーションと実世界のギャップ（sim-to-real gap）や、VRデータ収集のスケーラビリティ、多様なタスクへの一般化などに関する議論は明示されていない。また、75時間のデータ収集に5人のオペレーターが必要であり、コストや時間がかかる可能性が示唆されるが、詳細な議論は要旨からは不明。

要旨で参照されている関連研究として、behavior cloning、causal transformer、simulation-based pre-training、VR teleoperation、dexterous manipulationの分野の論文が挙げられる。具体的には、ロボットポリシーの事前学習に関する大規模モデル（例えば、RT-1やRT-2）や、多指ハンドの操作に関する研究（例えば、DexPilotやDactyl）が関連する。