日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.07084

DriveSOTIF: マルチモーダル大規模言語モデルによる知覚SOTIFの高度化

DriveSOTIF: Advancing Perception SOTIF Through Multimodal Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

自動運転の知覚におけるSOTIFリスクに対応するため、専用データセットでマルチモーダル大規模言語モデルをファインチューニングし、安全性リスクの特定精度を向上させた。

詳しい要約

1. どんなもの?

- 自動運転における知覚関連の SOTIF(Safety of the Intended Functionality)リスクに対処するため、multimodal large language models(MLLMs)をドメイン特化データセットで fine-tuning する研究。 - 人間の空間・因果知能に相当する能力を MLLM で補う狙い。 - 複雑・予測困難な走行条件での知覚 SOTIF リスク管理を対象とする。 - データセットと関連リソースを GitHub で公開。

2. 先行研究と比べてどこがすごい?

- 自動運転の SOTIF 領域に対するドメイン特化 MLLM fine-tuning の初の適用と主張。 - baseline モデル比で close-ended VQA 精度が 11.8% 向上。 - open-ended VQA スコアが 12.0% 向上。 - 画像あたり平均 0.59 秒の推論時間で real-time 性能を維持。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- 知覚関連 SOTIF シナリオを捉えるよう設計した customized dataset を構築。 - そのデータセットで MLLMs を fine-tuning。 - close-ended VQA と open-ended VQA の両方で評価する構成。 - 詳細なモデル構成や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- Benchmarking により fine-tuned MLLMs の VQA 精度・スコア向上を定量評価。 - 推論時間 0.59 秒/画像を計測し real-time 性能を確認。 - Canada と China での real-world case studies を実施。 - 経験豊富な人間ドライバーでも難しい安全リスクを fine-tuned モデルが正しく識別したと報告。

5. 議論はある?

- 人間の空間・因果知能を MLLM で補う意義と SOTIF リスク管理への寄与を議論。 - real-time 性能と精度向上の両立を主張。 - 限界・失敗事例・一般化性に関する詳細な議論は要旨からは不明。 - データセット公開による再現性・発展性への言及あり。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として multimodal large language models(MLLMs)、VQA、SOTIF に関する文献を挙げる。 - 自動運転の知覚における SOTIF 研究や、MLLM のドメイン適応に関する論文が次の候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shucheng Huang, Freda Shi, Chen Sun, Jiaming Zhong, Minghao Ning, Yufeng Yang, Yukun Lu, Hong Wang, Amir Khajepour

分類: cs.RO

原文アブストラクト

Human drivers possess spatial and causal intelligence, enabling them to perceive driving scenarios, anticipate hazards, and react to dynamic environments. In contrast, autonomous vehicles lack these abilities, making it challenging to manage perception-related Safety of the Intended Functionality (SOTIF) risks, especially under complex or unpredictable driving conditions. To address this gap, we propose fine-tuning multimodal large language models (MLLMs) on a customized dataset specifically designed to capture perception-related SOTIF scenarios. Benchmarking results show that fine-tuned MLLMs achieve an 11.8\% improvement in close-ended VQA accuracy and a 12.0\% increase in open-ended VQA scores compared to baseline models, while maintaining real-time performance with a 0.59-second average inference time per image. We validate our approach through real-world case studies in Canada and China, where fine-tuned models correctly identify safety risks that challenge even experienced human drivers. This work represents the first application of domain-specific MLLM fine-tuning for SOTIF domain in autonomous driving. The dataset and related resources are available at github.com/s95huang/DriveSOTIF.git

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI