Realtime-VLA FLASH: 拡散型VLAのための投機的推論フレームワーク
Realtime-VLA FLASH: Speculative Inference Framework for Diffusion-based VLAs
拡散型視覚言語行動モデル(dVLA)の再計画時の推論遅延を削減するため、軽量ドラフトモデルと主モデルのAction Expertによる並列検証、および必要時に完全推論へ切り替える位相認識フォールバック機構を備えた投機的推論フレームワークを提案した。LIBEROで平均推論遅延を19.1ms(3.04倍高速化)に短縮し、実世界のコンベアベルト仕分けでも有効性を示した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jiahui Niu, Kefan Gu, Yucheng Zhao, Shengwen Liang, Tiancai Wang, Xing Hu, Ying Wang, Huawei Li
分類: cs.RO, cs.CV
原文アブストラクト
Diffusion-based vision-language-action models (dVLAs) are promising for embodied intelligence but are fundamentally limited in real-time deployment by the high latency of full inference. We propose Realtime-VLA FLASH, a speculative inference framework that eliminates most full inference calls during replanning by introducing a lightweight draft model with parallel verification via the main model's Action Expert and a phase-aware fallback mechanism that reverts to the full inference pipeline when needed. This design enables low-latency, high-frequency replanning without sacrificing reliability. Experiments show that on LIBERO, FLASH largely preserves task performance by replacing many 58.0 ms full-inference rounds with speculative rounds as fast as 7.8 ms, lowering task-level average inference latency to 19.1 ms (3.04x speedup). We additionally demonstrate effectiveness on real-world conveyor-belt sorting, highlighting its practical impact for latency-critical embodied tasks.
関連論文
- WA-SpecDec: 世界認識型投機的デコーディングによる視覚言語行動モデルの高速化VLA/推論高速化
- 動作認識型ベクトル量子化と重心再利用による効率的なVLA推論フレームワークVLA/推論高速化
- 行動に足る速さで:低遅延ロボットVLM/VLAのための時空間ビジュアルトークン統合VLA/推論高速化
- C$^3$ache: クロス推論チャンクキャッシュによるワールドアクションモデルの高速化VLA/推論高速化
- 潜在ブリッジ:デュアルシステム視覚言語行動モデルの効率的推論のための特徴デルタ予測VLA/推論高速化
- VLA-InfoEntropy: 学習不要の視覚注意情報エントロピーによるVLAモデルの推論高速化と成功率向上VLA/推論高速化
