不確実性駆動型セルフプレイによる堅牢なマルチエージェント運転ポリシー

多エージェント運転ポリシーの汎化を目的に、epistemic uncertainty を探索信号として自己対戦(self-play)を行う学習スキーム。半数は近傍エージェントの epistemic uncertainty を増やすよう報酬付けされ、残り半数は安全運転を学習。探索側が弱点を突き、難易度の高いカリキュラムを自動生成する。

標準的な self-play と比較して、fine-tuning なしの zero-shot transfer で nuplan Val14 が 99.12% 対 97.97%、Argoverse 2 が 82.39% 対 78.03% と上回り、Waymo でも性能改善。LSTM hidden-state coverage が baseline より 85% 高く、多様な挙動を獲得。

epistemic uncertainty をポリシーの自信の低さ・シナリオ難易度の代理指標として利用。探索エージェントはこの信号で hard case を探索し、他エージェントは安全運転を学習。手動シナリオ設計なしで挑戦的カリキュラムを生成する。

nuplan Val14、Argoverse 2、Waymo での zero-shot transfer 性能を標準 self-play と比較。LSTM hidden-state coverage を指標に挙動多様性を評価。epistemic uncertainty が calibrated difficulty detector として機能し、最高 uncertainty 群は最低群に比べ collision・off-road・DNF の合計失敗率が 14.8 倍であることを示した。

epistemic uncertainty が ground-truth ラベルなしで難易度を検出し、挑戦的シナリオを自動優先できる点を議論。ただし、要旨からは限界や失敗事例、計算コスト、他手法との詳細比較は不明。

要旨で参照・比較されている標準 self-play、nuplan Val14、Argoverse 2、Waymo 関連の研究。関連手法として uncertainty estimation、curriculum learning、multi-agent reinforcement learning の定番文献が次に読む候補。