VLA-InfoEntropy: 学習不要の視覚注意情報エントロピーによるVLAモデルの推論高速化と成功率向上
VLA-InfoEntropy: A Training-Free Vision-Attention Information Entropy Approach for Vision-Language-Action Models Inference Acceleration and Success
視覚言語行動(VLA)モデルの推論を高速化するため、画像エントロピーと注意エントロピーを用いて重要領域を動的に選択し、冗長な視覚情報を削減する手法を提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Chuhang Liu, Yayun He, Zuheng Kang, Xiaoyang Qu, Jianzong Wang
分類: cs.CV, cs.RO
原文アブストラクト
Vision-Language-Action (VLA) models integrate visual perception, language understanding, and action decision-making for cross-modal semantic alignment, exhibiting broad application potential. However, the joint processing of high-dimensional visual features, complex linguistic inputs, and continuous action sequences incurs significant computational overhead and low inference efficiency, thereby hindering real-time deployment and reliability. To address this issue, we use image entropy to quantify the grayscale distribution characteristics of each visual token and introduce attention entropy to capture the distribution of attention scores over task-related text. Visual entropy identifies texture-rich or structurally informative regions, while attention entropy pinpoints semantically relevant tokens. Combined with timestep information, these metrics enable a dynamic transition strategy that shifts the model's focus from global visual features to attention-guided local informative regions. Thus, the resulting VLA-InfoEntropy method integrates spatial, semantic, and temporal cues to reduce redundancy while preserving critical content. Extensive experiments show that our method reduces inference parameters, accelerates inference speed, and outperforms existing approaches.
関連論文
- WA-SpecDec: 世界認識型投機的デコーディングによる視覚言語行動モデルの高速化VLA/推論高速化
- 動作認識型ベクトル量子化と重心再利用による効率的なVLA推論フレームワークVLA/推論高速化
- 行動に足る速さで:低遅延ロボットVLM/VLAのための時空間ビジュアルトークン統合VLA/推論高速化
- C$^3$ache: クロス推論チャンクキャッシュによるワールドアクションモデルの高速化VLA/推論高速化
- 潜在ブリッジ:デュアルシステム視覚言語行動モデルの効率的推論のための特徴デルタ予測VLA/推論高速化
- Realtime-VLA FLASH: 拡散型VLAのための投機的推論フレームワークVLA/推論高速化
