動作認識型ベクトル量子化と重心再利用による効率的なVLA推論フレームワーク

VQVLAは、Vision-Language-Action (VLA)モデルの推論を高速化するためのアルゴリズムとハードウェアの協調設計フレームワークである。VLAモデルはGPU上での推論レイテンシが高く、リアルタイム展開が難しいという問題に対し、重みの類似性と実行ダイナミクスを活用してメモリアクセスと計算の冗長性を削減する。具体的には、ロボットの実行状態に基づいて量子化精度を動的に調整するMotionVQと、コードブックインデックス表現に基づくマージドセントロイドベクトル化GEMMパラダイムを導入し、専用アクセラレータで効率的にサポートする。

既存のアクセラレータ（例：Dadu-Corki）はVLAモデルを全精度のワークロードとして扱い、メモリと計算の冗長性を十分に活用していない。VQVLAは、重みの類似性と実行ダイナミクスを考慮することで、動的な精度調整とセントロイド再利用による冗長計算の排除を実現し、既存手法と比較して大幅な高速化を達成している点が優れている。

手法の肝は、MotionVQ（モーションアウェアなベクトル量子化）とマージドセントロイドベクトル化GEMMパラダイムである。MotionVQはロボットの実行状態に応じて量子化精度を動的に調整し、メモリアクセスを削減しつつタスク成功率を維持する。GEMMパラダイムはコードブックインデックス表現で動作し、空間的集約とセントロイドの時間的再利用により冗長な乗算を排除する。さらに、動的精度選択とセントロイド再利用計算を効率的にサポートするアクセラレータを設計している。

実験により、VQVLAはA100 GPU、Dadu-Corki、LUT-DLA、CodeGEMM、ShiftAddLLMと比較して、それぞれ6.5倍、2.8倍、1.9倍、3.3倍、4.3倍の高速化を達成し、精度劣化は無視できる程度であることを検証した。

要旨からは、精度劣化が無視できると述べられているが、具体的なタスク成功率や精度の数値は不明である。また、提案手法はVLAモデルに特化しており、他のモデルへの適用可能性や、ハードウェア実装のコストや電力効率に関する議論は要旨には含まれていない。

要旨で参照されている比較対象として、Dadu-Corki、LUT-DLA、CodeGEMM、ShiftAddLLMが挙げられる。また、関連手法としてベクトル量子化やGEMM最適化に関する研究が考えられるが、具体的な論文名は要旨からは不明である。