HeiSD: 運動学的認識を備えた身体化視覚言語行動モデルのためのハイブリッド投機的復号
HeiSD: Hybrid Speculative Decoding for Embodied Vision-Language-Action Models with Kinematic Awareness
VLAモデルの推論を高速化するため、ドラフタベースと検索ベースの投機的復号を統合したハイブリッド手法HeiSDを提案し、検証スキップ機構と運動学に基づく融合指標により高速化と成功率を両立した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Zihao Zheng, Zhihao Mao, Sicheng Tian, Maoliang Li, Jiayu Chen, Xinhao Sun, Zhaobo Zhang, Xuanzhe Liu, Donggang Cao, Hong Mei, Xiang Chen
分類: cs.RO, cs.DB, cs.LG
原文アブストラクト
Vision-Language-Action (VLA) Models have become the mainstream solution for robot control, but suffer from slow inference speeds. Speculative Decoding (SD) is a promising acceleration method which can be divided into two categories: drafter-based SD and retrieval-based SD. Each of the two methods demonstrates complementary advantages and limitations when applied to VLA models, leading to the hypothesis that a hybrid approach integrating these two methods will yield better performance. In this paper, we first conduct a series of detailed analyses to reveal the advantages and feasibility of hybrid utilization. However, even with the aforementioned key insights, implementing hybrid SD in VLA models presents several challenges: (1) draft rejection and persistent errors in retrieval-based SD; (2) difficulty in determining the hybrid boundary. To address these, we propose the HeiSD framework. We propose a retrieval-based SD optimization method in HeiSD, which contains a verify-skip mechanism and a sequence-wise relaxed acceptance strategy. Moreover, we proposed a kinematic-based fused metric in HeiSD to automatically determine the hybrid boundary. Experimental results demonstrate that HeiSD attains a speedup of up to 2.45x in simulation benchmarks and 2.06x~2.41x in real-world scenarios, while sustaining a high task success rate.
関連論文
- WA-SpecDec: 世界認識型投機的デコーディングによる視覚言語行動モデルの高速化VLA/推論高速化
- 動作認識型ベクトル量子化と重心再利用による効率的なVLA推論フレームワークVLA/推論高速化
- 行動に足る速さで:低遅延ロボットVLM/VLAのための時空間ビジュアルトークン統合VLA/推論高速化
- C$^3$ache: クロス推論チャンクキャッシュによるワールドアクションモデルの高速化VLA/推論高速化
- 潜在ブリッジ:デュアルシステム視覚言語行動モデルの効率的推論のための特徴デルタ予測VLA/推論高速化
- Realtime-VLA FLASH: 拡散型VLAのための投機的推論フレームワークVLA/推論高速化
