能動的選好学習のための反事実推論と環境設計

- 能動的選好学習（Active Preference Learning, APL）のための軌道生成手法 CRED を提案する研究。 - ロボットが距離・時間・安全性などの人間の選好を、軌道のランキング提示を通じて学習する設定を扱う。 - 環境設計（environment design）と軌道選択を同時に最適化し、報酬推定を改善する。 - GridWorld と OpenStreetMap データを用いた実世界ナビゲーションで評価。

- 既存の APL 手法は軌道空間の十分な探索が難しく、特に長期的（long-horizon）タスクで情報量の多いクエリを特定できない問題があった。 - CRED は環境設計と軌道選択を jointly に最適化することで、多様かつ情報量の多い軌道集合を生成する点が新しい。 - 単一環境での学習にとどまらず、異なる環境への汎化も示している。

- 環境設計により新しいシナリオを「想像（imagine）」して生成する。 - 現在の信念から報酬をサンプリングし、「もしこの報酬が真の選好だったら？」と問う counterfactual reasoning を行う。 - これによりランキング用の多様で情報量の多い軌道集合を生成する。 - 環境設計と軌道選択を jointly に最適化する枠組みが肝。

- GridWorld での実験を実施。 - OpenStreetMap データを用いた実世界ナビゲーションで実験。 - 結果として報酬学習が改善され、異なる環境間で効果的に汎化することを示した。 - 具体的な比較手法や指標は要旨からは不明。

- 長期的タスクにおける探索と情報量の多いクエリ特定の難しさに対処する点が議論の背景。 - 環境設計と counterfactual reasoning の組み合わせの有効性が示唆される。 - 限界や失敗ケース、計算コストなど詳細な議論は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Active Preference Learning (APL)、environment design、counterfactual reasoning を用いた研究を挙げる。 - 同分野の定番として preference-based reinforcement learning（選好ベース強化学習）や Bayesian optimization 系の選好学習も参照候補となる。