AR/拡張現実2025/8/1arXiv:2508.17255

SEER-VAR: 車載ARのための自己中心環境セマンティック推論フレームワーク

SEER-VAR: Semantic Egocentric Environment Reasoner for Vehicle Augmented Reality

車内と道路のシーンを深度誘導の視覚言語グラウンディングで分離し、2つのSLAMブランチで自己中心運動を追跡、GPTベースのモジュールが危険警告などのARオーバーレイを生成する車載ARフレームワークを提案。

詳しい要約

1. どんなもの？

- 車載AR向けの新フレームワーク SEER-VAR を提案 - egocentric（車内視点）の車両ベースARを対象 - 意味分解、Context-Aware SLAM Branches (CASB)、LLM駆動推薦を統合 - 既存系と異なり静的・単一視点を仮定しない - depth-guided vision-language grounding で cabin と road のシーンを動的に分離 - 評価用に EgoSLAM-Drive を新規構築 - 同期した egocentric 視点、6DoF ground-truth poses、AR annotations を含む実世界データセット

2. 先行研究と比べてどこがすごい？

- 既存システムは静的または単一視点設定を仮定 - SEER-VAR は cabin/road を動的に分離して各文脈で追跡 - egocentric driving における LLM-based AR recommendation の先駆的探索 - 比較可能な既存システムが乏しい点を structured prompting と user studies で補完 - 実世界データセット EgoSLAM-Drive を新規に提供 - 同期視点・6DoF真値・AR注釈を備える点が従来にない

3. 技術・手法の肝は？

- depth-guided vision-language grounding による意味分解 - cabin と road のシーンを動的に分離 - Context-Aware SLAM Branches (CASB) - 2つの SLAM ブランチが各文脈の egocentric motion を追跡 - GPT-based module による推薦生成 - dashboard cues や hazard alerts など context-aware overlays を生成 - structured prompting を用いた LLM 推薦の設計

4. どうやって有効だと検証した？

- EgoSLAM-Drive 上で実験 - 多様な走行シナリオの同期 egocentric 視点、6DoF ground-truth poses、AR annotations を使用 - 空間アラインメントの頑健性と AR 描画の知覚的一貫性を評価 - 多様な環境で robust spatial alignment と perceptually coherent AR rendering を達成 - 詳細な user studies を実施 - perceived scene understanding、overlay relevance、driver ease の向上を示す

5. 議論はある？

- LLM-based AR recommendation in egocentric driving は先駆的で比較可能システムが乏しい - structured prompting と user studies で補完しているが比較の限界は残る - コードとデータセットのオープンソース化を予定 - 具体的な限界・失敗事例・計算コストの議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較される既存の車載AR・SLAM系研究（個別名は要旨に明示なし） - Context-Aware SLAM Branches (CASB) に関連する SLAM 研究 - depth-guided vision-language grounding 関連の vision-language 研究 - LLM-based recommendation / structured prompting 関連研究 - 同分野の定番として egocentric vision と visual SLAM の基礎文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuzhi Lai, Shenghai Yuan, Peizheng Li, Jun Lou, Andreas Zell

分類: cs.CV, cs.RO

原文アブストラクト

We present SEER-VAR, a novel framework for egocentric vehicle-based augmented reality (AR) that unifies semantic decomposition, Context-Aware SLAM Branches (CASB), and LLM-driven recommendation. Unlike existing systems that assume static or single-view settings, SEER-VAR dynamically separates cabin and road scenes via depth-guided vision-language grounding. Two SLAM branches track egocentric motion in each context, while a GPT-based module generates context-aware overlays such as dashboard cues and hazard alerts. To support evaluation, we introduce EgoSLAM-Drive, a real-world dataset featuring synchronized egocentric views, 6DoF ground-truth poses, and AR annotations across diverse driving scenarios. Experiments demonstrate that SEER-VAR achieves robust spatial alignment and perceptually coherent AR rendering across varied environments. As one of the first to explore LLM-based AR recommendation in egocentric driving, we address the lack of comparable systems through structured prompting and detailed user studies. Results show that SEER-VAR enhances perceived scene understanding, overlay relevance, and driver ease, providing an effective foundation for future research in this direction. Code and dataset will be made open source.

arXivで原文を読む →arXiv概要ページ

← 論文一覧