日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/自動運転arXiv:2603.25766

ETA-VLA: 時間融合とLLM内スパース化による視覚言語行動モデルの効率的トークン適応

ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けVLAモデルの計算負荷を減らすため、過去フレームの冗長な視覚トークンをテキストガイドと時間的一貫性で間引くフレームワークを提案し、精度を保ちつつ推論FLOPsを大幅削減した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを自動運転に統合する枠組み。 - 複数視点の過去フレームを扱う際の計算負荷を軽減する ETA-VLA を提案。 - Intra-LLM Sparse Aggregator (ILSA) を導入し、冗長な視覚トークンを動的に選別・削減。 - NAVSIM v2 で評価し、FLOPs を約32%削減しつつ最先端性能を維持。 - 視覚トークンの85%を削減し、推論FLOPsを61%削減しても精度の94%を保持。

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは自己注意の二次計算量のため、過去フレームの多視点画像を扱うと計算負荷が大きい。 - ETA-VLA は ILSA により冗長な視覚トークンを動的に削減し、計算効率を大幅に改善。 - 最先端ベースラインと同等の運転性能を保ちつつ、FLOPs を約32%削減。 - さらに視覚トークンを85%削減し、推論FLOPsを61%削減しても精度の94%を維持。 - 要旨からは、他の効率化手法との直接比較の詳細は不明。

3. 技術・手法の肝は?

- 過去 n フレームの多視点画像を処理する Efficient Token Adaptation フレームワーク。 - Intra-LLM Sparse Aggregator (ILSA) を導入。 - 人間の運転者の注意配分に着想を得て、テキストクエリと時間的一貫性に基づき冗長な視覚トークンを動的に特定・剪定。 - テキスト誘導スコアリング機構と多様性保持スパース化戦略を併用し、重要なトークンの疎な部分集合を選択。 - これにより運転シーンの包括的な認識を確保。

4. どうやって有効だと検証した?

- NAVSIM v2 ベンチマークで広範な実験を実施。 - 最先端ベースラインと同等の運転性能を達成しつつ、計算 FLOPs を約32%削減。 - 視覚トークンを85%削減し、推論 FLOPs を61%削減しても、元の精度の94%を保持。 - これらの結果から有効性を検証。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - 計算効率と性能のトレードオフについて言及されているが、具体的な議論は要旨に含まれない。 - 他のデータセットや実環境での評価については不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、Large Language Models (LLMs) の自己注意、トークン削減手法が挙げられる。 - 同分野の定番として、NAVSIM v2 ベンチマークや自動運転向け VLA モデルに関する論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Zichong Gu, Hao Sun

分類: cs.RO, cs.AI

原文アブストラクト

The integration of Vision-Language-Action (VLA) models into autonomous driving systems offers a unified framework for interpreting complex scenes and executing control commands. However, the necessity to incorporate historical multi-view frames for accurate temporal reasoning imposes a severe computational burden, primarily driven by the quadratic complexity of self-attention mechanisms in Large Language Models (LLMs). To alleviate this bottleneck, we propose ETA-VLA, an Efficient Token Adaptation framework for VLA models. ETA-VLA processes the past $n$ frames of multi-view images and introduces a novel Intra-LLM Sparse Aggregator (ILSA). Drawing inspiration from human driver attention allocation, ILSA dynamically identifies and prunes redundant visual tokens guided by textual queries and temporal consistency. Specifically, we utilize a text-guided scoring mechanism alongside a diversity-preserving sparsification strategy to select a sparse subset of critical tokens, ensuring comprehensive awareness of the driving scene. Extensive experiments on the NAVSIM v2 demonstrate that ETA-VLA achieves driving performance comparable to state-of-the-art baselines while reducing computational FLOPs by approximately 32\%. Notably, our method prunes 85% of visual tokens and reduces inference FLOPs by 61\%, but still retaining 94% of the original accuracy on the NAVSIM v2 benchmark.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI