Fail2Drive: クローズドループ運転の汎化性能を評価するベンチマーク

本論文は、closed-loop autonomous driving における distribution shift 下での generalization を評価するための新しいベンチマーク Fail2Drive を提案する。 - CARLA 上で 200 routes と 17 の新しい scenario classes を用意し、appearance, layout, behavioral, robustness の shift をカバーする。 - 各 shifted route には in-distribution の counterpart がペアで用意され、shift の影響を分離して定量的に診断できる。 - 複数の state-of-the-art モデルを評価し、平均 success-rate が 22.8% 低下することを示す。 - 新しい scenario の作成と privileged expert policy による solvability 検証のためのオープンソース toolbox も提供する。

既存の CARLA ベンチマークは test 時に training scenario を再利用することが多く、真の generalization を測れず、成功が memorization を反映する可能性があった。 - Fail2Drive は初の paired-route benchmark であり、各 shifted route を in-distribution counterpart と対にして shift の効果を分離する。 - これにより定性的な失敗を定量的な診断に変換し、distribution shift 下での generalization を直接測定できる。 - また、新 scenario 作成と solvability 検証のための toolbox を提供し、再現可能な基盤を確立する点が先行研究と異なる。

技術や手法の肝は、CARLA 上で paired-route 設計を採用した点にある。 - 200 routes と 17 の新しい scenario classes を用意し、appearance, layout, behavioral, robustness の 4 種類の shift を網羅する。 - 各 shifted route に対して in-distribution の counterpart をペアで用意し、shift の影響を分離して評価する。 - 評価には複数の state-of-the-art モデルを用い、success-rate の変化を測定する。 - さらに、新しい scenario を作成し、privileged expert policy によって solvability を検証するオープンソース toolbox を提供する。

複数の state-of-the-art モデルを Fail2Drive 上で評価し、平均 success-rate が 22.8% 低下することを示した。 - この結果から、distribution shift 下で一貫した性能劣化が生じることが確認された。 - また、LiDAR にはっきりと見えている物体を無視する、free space と occupied space の基本概念を学習できていないといった、予期しない failure modes が明らかになった。 - ベンチマークの solvability は privileged expert policy によって検証される。

本論文では、distribution shift 下での generalization が closed-loop autonomous driving の中心的なボトルネックであると議論している。 - 既存ベンチマークの問題点として、test 時に training scenario を再利用するため、成功が memorization を反映する可能性を指摘。 - Fail2Drive の評価から、state-of-the-art モデルでも平均 22.8% の success-rate 低下が生じ、LiDAR で見える物体の無視や free/occupied space の基本概念の未学習といった failure modes が明らかになった。 - これらの発見は、単なる性能向上ではなく generalization に焦点を当てた研究の必要性を示唆する。 - ただし、具体的な議論の詳細や限界については要旨からは不明。

要旨で参照・比較されている研究として、CARLA を用いた既存の closed-loop autonomous driving ベンチマークが挙げられる。 - また、state-of-the-art モデルとして複数のモデルが評価されているが、具体的な名称は要旨からは不明。 - 関連手法として、distribution shift 下での generalization を扱う研究や、privileged expert policy を用いた solvability 検証手法が考えられる。 - 同分野の定番として、CARLA ベースの closed-loop 評価フレームワークや、generalization ベンチマークに関する研究を次に読むべきである。