日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2602.00993

HERMES: ロングテール自動運転のための視覚言語モデルを用いたリスク認識型マルチモーダル統合システム

HERMES: A Holistic End-to-End Risk-Aware Multimodal Embodied System with Vision-Language Models for Long-Tail Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを活用し、ロングテールな混在交通環境でのリスクを明示的に考慮した軌道計画を行う、エンドツーエンド自動運転フレームワークを提案。

詳しい要約

1. どんなもの?

- 長尾条件での安全な自動運転を目指す - 大規模vision-language modelを活用 - 明示的なリスク手がかりを軌道計画に注入 - 実世界の長尾データセットで評価 - 混合交通シナリオに対応

2. 先行研究と比べてどこがすごい?

- 従来のend-to-endモデルやVLM駆動ベースラインより優れる - 長尾混合交通シナリオで一貫した性能向上 - リスク認識を明示的に組み込む点が新しい - 構造化された長尾コンテキストを活用 - アブレーションで各要素の寄与を確認

3. 技術・手法の肝は?

- foundation-model-assisted annotation pipelineを採用 - Long-Tail Scene ContextとLong-Tail Planning Contextを生成 - 危険中心の手がかりと操縦意図・安全選好を捕捉 - Tri-Modal Driving Moduleでマルチビュー知覚・履歴運動・意味誘導を融合 - リスク認識型の正確な軌道計画を実現

4. どうやって有効だと検証した?

- 実世界の長尾データセットで実験 - 代表的なend-to-endおよびVLM駆動ベースラインと比較 - 長尾混合交通シナリオで一貫した優位性を確認 - アブレーション研究で主要コンポーネントの相補的寄与を検証 - 有効性を定量的に評価

5. 議論はある?

- 長尾条件での安全性と正確性の課題を指摘 - 異種道路利用者との相互作用の難しさに言及 - 明示的リスク手がかりの有効性を示唆 - 限界や今後の課題は要旨からは不明 - 議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてend-to-end autonomous driving - VLM-driven baselines - 長尾データセットを用いた研究 - 混合交通シナリオの安全計画

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weizhe Tang, Junwei You, Jiaxi Liu, Zhaoyi Wang, Rui Gan, Zilin Huang, Feng Wei, Bin Ran

分類: cs.RO, cs.AI

原文アブストラクト

End-to-end autonomous driving models increasingly benefit from large vision--language models for semantic understanding, yet ensuring safe and accurate operation under long-tail conditions remains challenging. These challenges are particularly prominent in long-tail mixed-traffic scenarios, where autonomous vehicles must interact with heterogeneous road users, including human-driven vehicles and vulnerable road users, under complex and uncertain conditions. This paper proposes HERMES, a holistic risk-aware end-to-end multimodal driving framework designed to inject explicit long-tail risk cues into trajectory planning. HERMES employs a foundation-model-assisted annotation pipeline to produce structured Long-Tail Scene Context and Long-Tail Planning Context, capturing hazard-centric cues together with maneuver intent and safety preference, and uses these signals to guide end-to-end planning. HERMES further introduces a Tri-Modal Driving Module that fuses multi-view perception, historical motion cues, and semantic guidance, ensuring risk-aware accurate trajectory planning under long-tail scenarios. Experiments on the real-world long-tail dataset demonstrate that HERMES consistently outperforms representative end-to-end and VLM-driven baselines under long-tail mixed-traffic scenarios. Ablation studies verify the complementary contributions of key components.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI