検索ベース投機とハードウェア加速によるVLA推論の高速化

- Vision-language-action (VLA) モデルの autoregressive (AR) な action 生成がリソース制約のあるロボット上で大きな遅延を生む問題に対し、推論を高速化するハードウェア・ソフトウェア協調設計フレームワーク Zora を提案した研究。 - 軽量な retrieval-augmented generation (RAG) ベースの draft model と、専用ハードウェア Zora core を組み合わせる。 - LIBERO benchmark 上で4つの VLA モデルを対象に評価している。

- 既存の speculative decoding は高コストな draft model に依存し、edge platform では非効率という課題があった。 - Zora は追加の neural draft model を用いず、robotic dynamics を活用した RAG ベースの軽量 draft model でこれを代替する点が新しい。 - さらに kinematics-guided action-acceptance strategy と KV-cache-sharing attention で batch verification のオーバーヘッドを削減する。 - RAG drafting の retrieval オーバーヘッドに対し、専用ハードウェア Zora core を協調設計する点も先行研究と異なる。

- 追加の neural draft model を使わず、robotic dynamics を利用した軽量な retrieval-augmented generation (RAG) ベースの draft model を導入。 - batch verification の負荷を下げるため、kinematics-guided action-acceptance strategy を採用。 - KV-cache-sharing attention 機構により verification の効率を改善。 - RAG-based drafting が生む retrieval オーバーヘッドに対し、メモリ不規則性 (memory irregularity) に対処する専用ハードウェア Zora core を協調設計。

- LIBERO benchmark 上で4つの VLA モデルを用いて評価。 - 精度は同等 (comparable accuracy) を維持しつつ、ソフトウェア最適化のみで最大 3.4×、ハードウェア支援込みで最大 7.6× の GPU 比 speedup を達成したと報告。

- 精度を同等に保ちつつ大幅な speedup を実現したと主張しているが、具体的な精度低下の程度や詳細な議論は要旨からは不明。 - RAG-based drafting の retrieval オーバーヘッドや memory irregularity への対処が議論の焦点。 - 他のロボットプラットフォームや実機での汎化性については要旨からは不明。

- speculative decoding の基盤研究 (draft model を用いる既存手法)。 - retrieval-augmented generation (RAG)。 - Vision-language-action (VLA) モデル全般。 - LIBERO benchmark を用いた VLA 評価研究。 - KV-cache 共有や attention 最適化に関する研究。