行動に足る速さで:低遅延ロボットVLM/VLAのための時空間ビジュアルトークン統合
Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs
ロボット向け視覚言語モデルや行動モデルの推論遅延を減らすため、視覚エンコード段階で冗長なトークンを時空間的に統合するプラグアンドプレイのフレームワークST-Mergeを提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Junzhou Chen, Jindong Wang, Gang Zhou
分類: cs.CV, cs.AI
原文アブストラクト
Vision-language models and vision-language action models endow the robot with unprecedented capabilities. However, the input of video and high-resolution images yields a massive number of visual tokens, leading to extremely high inference latency and severely hindering the robot's real-time control. To break through this computational bottleneck, we propose ST-Merge, a plug-and-play, training-free framework that efficiently fuses redundant tokens directly during the visual encoding phase. By explicitly constructing 3D spatiotemporal coordinates, it employs a multi-queue parallel matching and weighted aggregation mechanism to achieve efficient and geometrically consistent fusion of redundant tokens across frames. In addition, we introduce a post-merge positional correction mechanism that effectively eliminates spatial deviation caused by merging by dynamically re-evaluating the rotational position code of the weighted centroid of the vision token, thereby ensuring the high-precision spatial awareness required for dexterous operation. In the Video Question Answering task on the mainstream VLM, Qwen2.5-VL, ST-Merge achieves a 2$\times$ inference speedup with only a tiny 1\% loss in precision. When deployed on the $π_{0.5}$ VLA policy, ST-Merge achieves an 8.3$\times$ speedup at 1024 $\times$ 1024 resolution and matches the baseline success rate at this high-resolution setting. At lower resolutions, it introduces a small drop in accuracy.
関連論文
- WA-SpecDec: 世界認識型投機的デコーディングによる視覚言語行動モデルの高速化VLA/推論高速化
- 動作認識型ベクトル量子化と重心再利用による効率的なVLA推論フレームワークVLA/推論高速化
- C$^3$ache: クロス推論チャンクキャッシュによるワールドアクションモデルの高速化VLA/推論高速化
- 潜在ブリッジ:デュアルシステム視覚言語行動モデルの効率的推論のための特徴デルタ予測VLA/推論高速化
- Realtime-VLA FLASH: 拡散型VLAのための投機的推論フレームワークVLA/推論高速化
- VLA-InfoEntropy: 学習不要の視覚注意情報エントロピーによるVLAモデルの推論高速化と成功率向上VLA/推論高速化
