ナイフで皮をむく方法：細粒度操作と人間の好みの整合

本論文は、food preparationやsurgery、craftsmanshipなど、contact-richでforce-sensitiveな動力学を持ち、かつ成功基準が「暗黙的」で連続的・主観的（例：potatoの皮むきの質）なmanipulationタスクに対する学習フレームワークを提案する。代表例としてpeeling with a knifeを扱い、2段階のpipelineで方策を学習する。

pick-and-placeのような明示的・離散的な成功基準を持つタスクとは異なり、暗黙的で主観的な品質基準を持つタスクを対象とする点が新しい。また、force-aware data collectionとimitation learningによる初期方策学習に加え、preference-based finetuningで人間の品質概念に方策を整合させる点が先行研究と異なる。

2段階のpipelineを採用する。第1段階ではforce-aware data collectionとimitation learningにより、物体変動に汎化する頑健な初期方策を学習する。第2段階では、定量的なタスク指標と定性的なhuman feedbackを組み合わせた学習済みreward modelを用いたpreference-based finetuningにより、方策を人間のタスク品質概念に整合させる。

cucumbers、apples、potatoesを含む難易度の高いproduceに対して、50-200のpeeling trajectoriesのみを用いて評価した。平均成功率90%以上を達成し、preference-based finetuningにより性能が最大40%向上した。また、単一のproduceカテゴリで学習した方策が、未見の同カテゴリインスタンスや異なるカテゴリのout-of-distribution produceに対しても90%以上の成功率を維持するzero-shot generalizationを示した。

要旨からは不明。

要旨で参照・比較されている研究は明示されていない。関連手法としてimitation learning、preference-based finetuning、reward modeling、force-aware data collectionが挙げられる。同分野の定番として、contact-rich manipulationやdexterous manipulationに関する研究が次に読むべき候補となる。