人間参加型選好アライメントによる展開可能な視覚駆動UAV河川航行

- 視覚駆動のUAVによる河川航行ポリシーを、実環境展開時に人間参加型(HITL)で適応させる研究。 - 保守的な監督者(overseer)が不安全・非効率な行動を拒否し、エージェント提案と修正overrideの比較からstatewise preferenceを与える設定を扱う。 - 提案手法SPAR-H(Statewise Hybrid Preference Alignment for Robotics)を提示。 - 河川の環境モニタリング・災害対応を想定した実世界UAV river followingへの適用可能性を示す。

- 従来のsimulation-trainedポリシーはdistribution shiftと安全リスクに晒され、限られた人間介入からの効率的適応が課題。 - 比較対象としてimitation learning (IL)、direct preference variants、evaluative reinforcement learning (RL)をHITL設定でベンチマーク。 - 固定のnovice policyから得た5回のHITL rolloutのみで、最終episodic rewardが最高かつ初期条件間の分散が最小。 - 学習したreward modelが人間選好行動と整合し、非介入の近傍選択肢も持ち上げる点を主張。

- statewise preferenceを二経路で活用するハイブリッド構成。 - 経路1: ポリシーlogits上のdirect preference optimization。 - 経路2: 同一preferenceからimmediate-reward estimatorを学習し、trust-region surrogateでポリシー更新するreward-based pathway。 - 監督者は提案とcorrective overrideを比較してstatewise preferenceを付与し、不安全・非効率行動をvetoする。

- 固定novice policyからの5回のHITL rolloutで評価。 - 最終episodic rewardと初期条件間の分散を指標に、IL・direct preference variants・evaluative RLと比較。 - 学習reward modelが人間選好行動と整合し、非介入の近傍選択肢を持ち上げることを確認。 - 実世界UAV river followingにおける継続的preference alignmentのfeasibilityを実証。

- dual statewise preferenceが河川航行におけるdata-efficientなオンライン適応の実用的経路になり得ると結論。 - 限られた人間介入(5 rollouts)での安定した改善伝播を強調。 - 具体的な限界・失敗事例・安全性保証の詳細は要旨からは不明。 - overseerの負担やスケーラビリティに関する議論は要旨からは不明。

- 要旨で比較対象として挙げられたimitation learning (IL)、direct preference optimization variants、evaluative reinforcement learning (RL)の関連研究。 - HITL preference alignmentおよびreward modelingの代表的手法(一般名: preference-based RL、reward learning)。 - UAVのvision-based navigationおよびriver followingに関する定番研究(一般名)。