巧みな操作のための最小限のリターゲティング誘導強化学習レシピ

本論文は、単一の人間のデモンストレーションから器用な操作ポリシーを学習するための最小限のretargeting-guided RLパイプラインであるREGRINDを提案している。REGRINDは、人間の手と物体の動きを、手と物体の空間的・接触関係を保持するロボットの参照にリターゲットし、シミュレーション内で物体中心のキーポイントを追跡するように残差RLポリシーを訓練し、注意深いシステム同定を経てゼロショットで実機に転送する。これにより、2種類の多指ハンドで、はさみ操作やドライバー回しなどの接触を伴うツール使用タスクにおいて、流暢で人間らしい動作を実現する。

先行研究では、ヒューマノイド全身制御において、人間の動作をロボットの運動学的参照にリターゲットし、RLで追跡するというシンプルな手法が成功していたが、この手法が器用な操作にそのまま適用できるかは不明だった。操作は複雑で接触の多いダイナミクスを含み、接触モードと力の微妙な調整が必要だからである。REGRINDは、このレシピを器用な操作に拡張し、単一の人間のデモから、シミュレーションと実機の両方で効果的なポリシーを学習できることを示した点が新しい。また、sim-to-real転送に影響を与える主要因子を体系的に分析し、実用的なガイダンスを提供している。

手法の肝は、まず人間の手と物体の動きを、手と物体の空間的・接触関係を保つロボット参照にリターゲットすること。次に、その参照に沿って物体中心のキーポイントを追跡するように、シミュレーションで残差RLポリシーを訓練する。最後に、注意深いシステム同定を行い、ポリシーをゼロショットで実機に転送する。このパイプラインは最小限の構成で、接触の多い設定でのretargeting-based学習に焦点を当てている。

有効性は、2種類の多指ハンドを用いた接触の多いツール使用タスク（はさみ操作、ドライバー回し）での体系的なハードウェア実験によって検証された。その結果、流暢で人間らしい動作が得られ、sim-to-real転送を支配する主要因子を特定・分析した。具体的な評価指標や比較対象は要旨からは不明。

要旨からは、提案手法が単一のデモから学習できること、ゼロショット転送が可能であることが示されているが、限界や課題についての議論は明示されていない。また、システム同定の重要性が強調されているが、その詳細や、異なるタスクやハンドへの一般化可能性については不明。

要旨で参照されている先行研究は、ヒューマノイド全身制御におけるretargeting-guided RLのレシピ（具体的な論文名は不明）であり、関連手法としてretargeting、residual RL、sim-to-real transferが挙げられる。次に読むべき論文としては、これらの分野の定番論文（例えば、人間の動作をロボットに転送する研究や、sim-to-real転送の手法）が考えられるが、要旨からは特定の論文名は不明。