選好から学ぶアクロバティック飛行

- 本論文は、Acrobatic Flight（アクロバティック飛行）を対象に、Preference-based reinforcement learning（PbRL）を用いて制御ポリシーを学習する研究である。 - 手設計の報酬関数を必要とせず、人間の選好フィードバックから報酬を学習する枠組みを扱う。 - 提案手法は Reward Ensemble under Confidence（REC）と呼ばれる、確率的報酬学習フレームワークである。 - シミュレーションで学習したポリシーを real world へ zero-shot transfer し、複雑な acrobatic maneuvers を実現することを示す。

- 手設計の報酬関数は、acrobatic flight において人間の判断と 60.7% しか一致せず、報酬設計の限界を示している。 - 標準的な Preference PPO では shaped reward 性能の 55.2% にとどまるのに対し、REC は 88.4% を達成している。 - つまり、報酬の不確実性を明示的に扱うことで、従来の preference-based 手法より高い性能を引き出している点が特徴である。 - さらに、acrobatic quadrotor control に加えて連続制御ベンチマークでも検証し、 aerial robotics 以外への適用可能性も示している。

- REC は、per-timestep reward uncertainty を明示的にモデル化するために、distributional reward models の ensemble を用いる。 - その不確実性を preference loss に伝播させる点が手法の中心である。 - また、ensemble 間の disagreement を exploration に利用する。 - これにより、選好フィードバックのみから報酬を学習しつつ、不確実性を考慮したポリシー最適化を行う。

- acrobatic quadrotor control において、REC が shaped reward 性能の 88.4% を達成し、標準 Preference PPO の 55.2% を上回ることを示した。 - シミュレーションで学習したポリシーを real world に zero-shot transfer し、複雑な acrobatic maneuvers が実現できることを確認した。 - さらに、連続制御ベンチマークでも REC を検証し、 aerial robotics 以外の領域でも適用可能であることを確認した。

- 手設計報酬が人間の判断と 60.7% しか一致しないという結果から、acrobatic flight における報酬設計の難しさが議論されている。 - 一方で、REC の具体的な限界や失敗ケース、real world での安全性や頑健性については要旨からは不明である。 - zero-shot transfer の成功は示されているが、実機実験の詳細な条件や評価範囲は要旨からは不明である。

- 比較対象として標準的な Preference PPO が挙げられているため、まず Preference PPO および Preference-based reinforcement learning（PbRL）の基礎文献を読むとよい。 - 提案手法の構成要素である distributional reward models や reward ensemble、uncertainty-aware exploration に関する研究も関連する。 - 応用先として acrobatic quadrotor control および連続制御ベンチマークに関する研究を参照すると理解が深まる。