日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

運転注意予測arXiv:2604.20191

シーンから物体へ:テキスト誘導による二重視線予測

From Scene to Object: Text-Guided Dual-Gaze Prediction

シェア:XThreadsFacebookLINEはてブBluesky

運転者の物体レベルの注意予測を実現するため、データ構築からモデル設計までの新しい枠組みを提案し、マルチモーダル大規模言語モデルとSAM3を用いて物体レベルの視線データセットを構築し、デュアルブランチの視線予測モデルを開発した。

詳しい要約

1. どんなもの?

- 運転者の注意予測をobject-levelで行う研究 - 既存データセットはscene-levelのglobal gazeのみで、text-groundedな認知モデリングが困難 - 本論文はdata constructionからmodel architectureまでの完全なparadigmを提案 - G-W3DA: object-level driver attention datasetを構築 - DualGaze-VLM: dual-branch gaze prediction frameworkを提案

2. 先行研究と比べてどこがすごい?

- 既存データセットはscene-level global gazeのみでobject-level annotationがなく、text-vision decouplingやvisual-bias hallucinationsが生じる - 本論文はobject-level attention predictionを実現し、dataからmodelまで一貫したparadigmを確立 - W3DA benchmarkで既存SOTAを上回り、safety-critical scenariosでSIMが最大17.8%改善 - 生成したattention heatmapが88.22%の評価者に本物と知覚される

3. 技術・手法の肝は?

- G-W3DA構築: multimodal large language modelとSegment Anything Model 3 (SAM3)を統合し、macroscopic heatmapをobject-level maskにdecouple、rigorous cross-validationでannotation hallucinationsを排除 - DualGaze-VLM: semantic queryのhidden statesを抽出し、Condition-Aware SE-Gateでvisual featuresを動的にmodulate、intent-driven precise spatial anchoringを実現

4. どうやって有効だと検証した?

- W3DA benchmarkでのextensive experiments - 空間alignment metricsで既存SOTAを一貫して上回る - safety-critical scenariosでSIMが最大17.8%改善 - visual Turing testで88.22%のhuman evaluatorsが生成heatmapをauthenticと評価

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- W3DA benchmarkに関連する研究 - Segment Anything Model 3 (SAM3) - Vision-Language Models (VLMs)を用いた運転者注意予測 - 既存のSOTA gaze prediction models

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zehong Ke, Yanbo Jiang, Jinhao Li, Zhiyuan Liu, Yiqian Tu, Qingwen Meng, Heye Huang, Jianqiang Wang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Interpretable driver attention prediction is crucial for human-like autonomous driving. However, existing datasets provide only scene-level global gaze rather than fine-grained object-level annotations, inherently failing to support text-grounded cognitive modeling. Consequently, while Vision-Language Models (VLMs) hold great potential for semantic reasoning, this critical data limitations leads to severe text-vision decoupling and visual-bias hallucinations. To break this bottleneck and achieve precise object-level attention prediction, this paper proposes a novel dual-branch gaze prediction framework, establishing a complete paradigm from data construction to model architecture. First, we construct G-W3DA, a object-level driver attention dataset. By integrating a multimodal large language model with the Segment Anything Model 3 (SAM3), we decouple macroscopic heatmaps into object-level masks under rigorous cross-validation, fundamentally eliminating annotation hallucinations. Building upon this high-quality data foundation, we propose the DualGaze-VLM architecture. This architecture extracts the hidden states of semantic queries and dynamically modulates visual features via a Condition-Aware SE-Gate, achieving intent-driven precise spatial anchoring. Extensive experiments on the W3DA benchmark demonstrate that DualGaze-VLM consistently surpasses existing state-of-the-art (SOTA) models in spatial alignment metrics, notably achieving up to a 17.8% improvement in Similarity (SIM) under safety-critical scenarios. Furthermore, a visual Turing test reveals that the attention heatmaps generated by DualGaze-VLM are perceived as authentic by 88.22% of human evaluators, proving its capability to generate rational cognitive priors.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI