ロボット操作のための自由形式選好学習

Freeform Preference Learning (FPL) は、ロボットの long-horizon manipulation タスクにおいて、人間の自由記述の選好から方策を学習する手法。 - 従来の二択選好ではなく、自然言語で選好軸（speed, safety, quality of placement, carefulness など）を定義し、各軸に沿ったペアワイズ選好を収集。 - これらのアノテーションから language-conditioned reward model を学習し、trajectory と preference label を軸固有の reward に写像。 - その reward model を用いて reward-conditioned policy を訓練し、複数の人間指定次元を同時に最適化。 - 4つの実世界タスクと2つのシミュレーション long-horizon manipulation タスクで評価。

従来の sparse success labels や binary preferences と比較して、以下の点が優れる。 - sparse reward や binary preference では、成功/失敗のラベルが少なすぎたり、多くの品質概念が1つの曖昧な信号に潰れたりする問題があった。 - FPL は複数の選好軸を明示的に扱うことで、より豊かな学習信号を得る。 - 実験では sparse-reward 法や binary-preference 法に対して 38 percentage points の性能向上を達成。 - さらに、明示的な subtask segmentation なしに dense progress signals を学習し、データにない behavior の compositionality を示し、再訓練なしでテスト時に方策を異なる行動へ steer できる。

FPL の技術的核心は以下の通り。 - アノテータに「どちらが全体的に良いか」を尋ねるのではなく、自然言語で選好軸（例：speed, safety, quality of placement, carefulness）を定義させ、各軸に沿ったペアワイズ選好を提供させる。 - これらのアノテーションを用いて language-conditioned reward model を学習。このモデルは trajectory と preference label を入力とし、軸固有の reward を出力する。 - 学習した reward model を使って reward-conditioned policy を訓練し、複数の人間指定次元を同時に最適化する。 - これにより、明示的な subtask segmentation なしに dense progress signals が得られる。

4つの実世界タスクと2つのシミュレーション long-horizon manipulation タスクで検証。 - 比較対象は sparse-reward 法と binary-preference 法。 - 結果として、FPL はこれらの手法を 38 percentage points 上回った。 - さらに、明示的な subtask segmentation なしに dense progress signals を学習できること、データに存在しない behavior の compositionality を示すこと、再訓練なしでテスト時にユーザーが方策を異なる行動へ steer できることを確認。

要旨からは、FPL の限界や失敗事例、計算コスト、アノテーション負荷、一般化可能性に関する議論は明記されていない。 - 提案手法の利点として、性能向上、dense progress signals の学習、compositionality、テスト時の steerability が挙げられている。 - しかし、これらの主張の詳細な分析や反論、制約については要旨からは不明。

要旨で参照・比較されている研究は sparse-reward 法と binary-preference 法であり、具体的な論文名は挙げられていない。 - 関連手法として、binary preference learning（例：Christiano et al. 2017 の Deep RL from Human Preferences など）や sparse-reward を用いたロボット manipulation の研究が次に読むべき候補。 - また、language-conditioned reward model や reward-conditioned policy に関する研究も関連する。