SOTIF条件下での2D物体検出における大規模視覚言語モデルの比較評価

- 自動運転の安全に関わる SOTIF 条件下での 2D object detection における Large Vision-Language Models (LVLMs) の有効性を評価した研究。 - 10 の代表的な LVLMs を PeSOTIF dataset で系統的に評価。 - 比較対象は anchor-based YOLOv5 と transformer-based RT-DETRv4。 - 定量的に性能を比較し、semantic reasoning と geometric regression のトレードオフを明らかにする。

- 従来の専用 detector は adverse conditions で性能が低下しやすい。 - LVLMs は semantic reasoning に優れるが、safety-critical な 2D object detection での定量的有効性は未解明だった。 - 本研究は PeSOTIF dataset を用いて LVLMs を専用 detector と直接比較し、その補完的強みを定量的に示した点が新しい。

- PeSOTIF dataset を使用。これは long-tail traffic scenarios と environmental degradations に特化した benchmark。 - 10 の代表的な LVLMs を評価。 - 比較対象として anchor-based YOLOv5 と transformer-based RT-DETRv4 を採用。 - 性能を定量的に比較し、recall や geometric precision などの指標で分析。

- PeSOTIF dataset 上で 10 LVLMs と YOLOv5、RT-DETRv4 を比較評価。 - 結果、top-performing LVLMs (例: Gemini 3) は YOLOv5 を recall で 25% 以上上回り、natural visual degradation 下で RT-DETRv4 に匹敵。 - 一方、handcrafted perturbations では専用 detector が geometric precision で優位。 - これにより semantic reasoning と geometric regression の補完性を実証。

- LVLMs は SOTIF 指向の自動運転システムにおいて high-level safety validators として利用可能。 - 専用 detector は geometric precision で依然優位であり、両者の補完的強みを活かすべき。 - ただし、具体的な議論の詳細や限界については要旨からは不明。

- 要旨で参照されている研究: YOLOv5, RT-DETRv4, Gemini 3, PeSOTIF dataset。 - 関連手法として LVLMs の object detection 応用や SOTIF に関する研究が挙げられる。 - 同分野の定番として、transformer-based detector (DETR 系) や anchor-based detector (YOLO 系) の論文を読むと良い。