FORGE: キーポイント軌道推論による機能的一般化を目指したツール使用

本論文は、ロボットが既知のツールで学習した機能（例：釘を打つ）を、未見のツール（例：本、石、靴）へ転移できない問題を「機能的汎化（functional generalization）」として定式化し、その解決を目指す。中間表現としてaffordance image、human video prompt、2D keypoint trajectoryを比較し、keypoint trajectoryが機能的表現力と行動接地性のバランスに優れると主張する。提案手法FORGE（FunctiOnal Reasoning and Grounded Execution）は、機能推論（action-freeデータから汎化可能なkeypoint trajectoryを予測）と行動実行（限られたデモからロボット動作に接地）を分離する二段階ポリシーである。7種類のツールを用いた打撃機能ベンチマークで、未見ツールに対するシミュレーションと実世界の両方で最先端手法を上回り、平均成功率で2倍以上の改善を達成した。

従来のロボット学習は特定のツールに特化しており、機能が同じでも形状が異なるツールへの転移が困難だった。本論文は、視覚的類似性が行動空間にそのまま対応しないという問題を明確にし、機能汎化を直接扱う点が新しい。また、中間表現の比較を通じて、keypoint trajectoryがaffordance imageやhuman video promptよりも機能的表現力と行動接地性のバランスに優れることを示した点が貢献である。さらに、機能推論と行動実行を分離する二段階設計により、action-freeデータを活用しつつ、少数のデモで実ロボットに接地できる点が従来のend-to-end学習や表現学習と異なる。

手法の肝は、機能推論と行動実行の分離にある。第一段階では、action-freeデータ（例：人間のデモ動画）から、ツールの機能を表す2D keypoint trajectoryを予測する。この表現は、ツールの形状変化にロバストで、機能的本質を捉える。第二段階では、予測されたkeypoint trajectoryを、限られたデモンストレーションを用いてロボットの行動（例：エンドエフェクタの軌道）に接地する。これにより、未見ツールに対しても、機能推論は汎化し、行動実行はデモから学習したマッピングで対応する。

7種類のツールを用いた打撃機能ベンチマークを構築し、未見ツールに対する成功率を評価した。シミュレーションと実世界の両方で、FORGEはstate-of-the-art手法を一貫して上回り、平均成功率で2倍以上の改善を達成した。具体的な比較手法や評価指標の詳細は要旨からは不明だが、未見ツールに対する汎化性能を定量的に示している。

要旨からは、keypoint trajectoryの選択理由や二段階設計の利点は述べられているが、限界や議論については不明。例えば、打撃機能以外のタスクへの適用可能性や、keypoint trajectoryの予測精度が行動実行に与える影響などは議論されていない。また、実世界での評価は限定的なツールセットに留まる可能性があり、より多様なツールや機能への拡張が課題と考えられる。

要旨で参照・比較されている研究は明示されていないが、関連手法として、affordance imageを用いたロボット操作、human video promptからの模倣学習、keypoint-based manipulation（例：KETI、KPAM）などが挙げられる。また、機能汎化の概念に近い研究として、ツール使用の転移学習や、視覚的類似性と行動の対応を扱う研究が関連する。具体的には、Ravichandran et al.のaffordance-based graspingや、Qin et al.のkeypoint-based policy learningなどが考えられるが、要旨からは不明。