日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.13329

HiST-VLA:階層的時空間視覚言語行動モデルによるエンドツーエンド自動運転

HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

3D空間認識と時系列推論を強化した階層的VLAモデルを提案し、動的トークン統合と階層的プランナーで軌道生成を高精度化、NAVSIM v2で最高性能を達成した。

詳しい要約

1. どんなもの?

- 安全クリティカルな自動運転向けのVLAモデル - 階層的時空間VLAモデルHiST-VLAを提案 - 信頼性の高い軌道生成を目的とする - 3D空間・時間推論を強化 - 動的トークン間引きで計算効率化 - 階層的transformerプランナで粗いwaypointを精緻化

2. 先行研究と比べてどこがすごい?

- 従来VLAの不正確な数値推論を改善 - 弱い3D空間認識を強化 - 文脈への高い感度を低減 - 動的トークン間引きで性能を犠牲にせず冗長性削減 - NAVSIM v2でstate-of-the-art性能を達成

3. 技術・手法の肝は?

- 幾何認識と細粒度運転コマンド・状態履歴プロンプトを統合 - 動的トークン間引きをVLAアーキテクチャに統合 - 冗長トークンをフィルタせず融合 - 階層的transformerベースプランナで粗いwaypointを精緻化 - 動的潜在正則化で言語コマンドを組み込み - 厳密な空間グラウンディングと時間的一貫性を確保

4. どうやって有効だと検証した?

- NAVSIM v2ベンチマークで広範に評価 - NavtestでEPDMS 88.6を達成 - 擬似閉ループNavhardベンチマークでEPDMS 50.9を達成 - state-of-the-art性能を実証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- Vision-Language-Action (VLA)モデル - NAVSIM v2ベンチマーク - 階層的transformerベースプランナ - 動的トークン間引き - 動的潜在正則化

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiru Wang, Zichong Gu, Yu Gao, Anqing Jiang, Zhigang Sun, Shuo Wang, Yuwen Heng, Hao Sun

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models offer promising capabilities for autonomous driving through multimodal understanding. However, their utilization in safety-critical scenarios is constrained by inherent limitations, including imprecise numerical reasoning, weak 3D spatial awareness, and high sensitivity to context. To address these challenges, we propose HiST-VLA, a novel Hierarchical Spatio-Temporal VLA model designed for reliable trajectory generation. Our framework enhances 3D spatial and temporal reasoning by integrating geometric awareness with fine-grained driving commands and state history prompting. To ensure computational efficiency, we integrate dynamic token sparsification into the VLA architecture. This approach fuses redundant tokens rather than filtering them, effectively reducing redundancy without sacrificing model performance. Furthermore, we employ a hierarchical transformer-based planner to progressively refine coarse VLA waypoints into fine-grained trajectories. Crucially, the planner utilizes dynamic latent regularization to incorporate language commands, ensuring strict spatial grounding and temporal coherence. Extensive evaluation on the NAVSIM v2 benchmark demonstrates state-of-the-art performance on Navtest, achieving an EPDMS of 88.6, and EPDMS of 50.9 on pseudo closed-loop Navhard benchmark.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI