敵対的機械学習による自動運転エージェントへの攻撃：CARLAリーダーボードを用いた包括的評価

- 自律走行エージェントに対する adversarial example のリスクを、ML モデル単体ではなくエージェント全体で評価する研究。 - CARLA（urban driving simulator）上で adversarial patch を生成・実行時にストリーム入力し、CARLA Leaderboard の公開エージェントに対して攻撃を評価。 - エージェントのコードを改変せず、ML モデルを含むエージェント構成全体に対して評価する点が特徴。 - 2 種類の攻撃戦略を、3 つの open-source エージェントに対して複数シナリオ・照明条件・場所でケーススタディとして検証。

- 先行研究は自律走行文脈の ML モデルを単体で欺く adversarial example を示してきたが、それが実際に有害な走行行動を生むかは不明だった。 - 本研究は ML モデル単体ではなく、ML モデル・controller logic・custom modules からなる driving agent 全体を対象に評価。 - CARLA Leaderboard の実際に性能の高いエージェントを対象とし、エージェントのコードを作成・改変せずに攻撃を評価する点が先行研究と異なる。 - ML モデルに付随するエージェントの全部分を含めて評価する点を強調。

- CARLA を用いて adversarial patch を生成し、実行時にシミュレータへストリーム入力する評価基盤を構築。 - 攻撃目的は driving agent を停止させる、または操舵させる adversarial patch の設計。 - エージェントのコードを変更せず、ML モデルを含むエージェント全体に対して攻撃を適用。 - 2 つの攻撃戦略を、CARLA Leaderboard の 3 つの open-source エージェントに対し、複数の走行シナリオ・照明条件・場所でケーススタディ評価。

- CARLA Leaderboard の 3 つの open-source driving agent を対象に、2 つの攻撃戦略を複数の走行シナリオ・照明条件・場所で評価。 - 一部の攻撃は ML モデルを誤らせ、誤った停止・操舵コマンドを予測させることが示された。 - 一方で、PID control や GPS-based rules などのモジュールが、攻撃者に操作された ML モデルの予測を上書きできる場合があることを示した。 - 評価はケーススタディであり、詳細な定量指標は要旨からは不明。

- ML モデルへの攻撃成功が、必ずしも driving agent の有害な走行行動につながらない場合があることを示唆。 - PID control や GPS-based rules など、ML モデル以外のモジュールが攻撃を緩和・無効化し得る。 - したがって、adversarial example のリスク評価は ML モデル単体ではなくエージェント全体で行う必要がある。 - 攻撃の一般化性や他エージェント・環境への拡張性に関する議論は要旨からは不明。

- CARLA Leaderboard の他の driving agent や、本研究で用いられた 3 つの open-source エージェントの詳細。 - adversarial patch を用いた攻撃手法（adversarial example 生成）の関連研究。 - PID control や GPS-based rules など、ML モデル以外のモジュールによる攻撃緩和に関する研究。 - CARLA を用いた自律走行の adversarial robustness 評価に関する先行研究。