vla.cpp: 視覚言語行動モデルのための統合推論ランタイム

本論文は、Vision-Language-Action (VLA) ポリシーをロボット実機で動かすためのポータブルな C++ 推論ランタイム vla.cpp を提案する。 - llama.cpp を基盤に構築され、ggml クラスのエンジンとして初めて flow-matching と diffusion の VLA 推論パターンをネイティブに扱う。 - キャッシュされた vision-language prefix を cross-attending action expert が消費し、複数の solver steps で積分する形をサポート。 - 単一の request/response プロトコルの下で、5 つの backbone と 4 つの action-head ファミリにまたがる 7 アーキテクチャを提供し、各モデルは自己完結型バンドルとしてパッケージ化される。

従来の VLA ポリシーはワークステーション級 GPU を前提とした Python/PyTorch スタックとして提供されることが多く、ロボットが実際に動作するハードウェアとのミスマッチがあった。 - 本研究は、そのミスマッチを解消するポータブルな C++ ランタイムを提供する点で優れる。 - 著者らの知る限り、ggml クラスのエンジンで flow-matching と diffusion の VLA 推論パターンをネイティブに提供するのは初である。 - 単一ランタイムで 7 アーキテクチャをカバーし、モデルごとに自己完結型バンドルとして扱える点も先行研究と異なる。

技術の肝は、llama.cpp をベースにした C++ 推論ランタイム vla.cpp にある。 - flow-matching と diffusion の VLA 推論パターン（キャッシュされた vision-language prefix を cross-attending action expert が消費し、複数 solver steps で積分）をネイティブに実装。 - 単一の request/response プロトコルで 7 アーキテクチャ（5 backbone、4 action-head ファミリ）を提供し、各モデルを自己完結型バンドルとしてパッケージ化。 - クロスハードウェア roofline 分析により、batch-1 VLA 推論が compute-bound であることを示し、その分析から導出した IMMA ladder GEMM を実装。

LIBERO-Object において、エンジンは state-of-the-art チェックポイントと 200 エピソード中 1 エピソード以内の差で一致し、BitVLA を 1.3 GiB のメモリで 100% 成功で実行した。 - 同じバンドルが 3 つのハードウェア層（コンシューマ GPU から 8 GB 組み込みモジュールまで）で変更なく動作することを確認。 - クロスハードウェア roofline 分析を実施し、batch-1 VLA 推論が compute-bound であることを示した。 - この分析から導出した IMMA ladder GEMM により、BitVLA の 1 ステップあたりのレイテンシを 4.5 倍削減。 - ALOHA アーム上でのオンボットストレステストを実施し、学習済み VLA が訓練されたハードウェア上で移動ターゲットに対して再計画する際のレイテンシ制約を分離した。

本論文では、batch-1 VLA 推論が compute-bound であるため、帯域幅ではなく利用率（utilization）が展開のレバーになることを議論している。 - この分析に基づく IMMA ladder GEMM が BitVLA のステップあたりレイテンシを 4.5 倍削減したことを示す。 - また、ALOHA アーム上でのオンボットストレステストにより、学習済み VLA が移動ターゲットに対して再計画する際のレイテンシ制約を分離する枠組みを提示している。 - その他の議論や限界については要旨からは不明。

要旨で参照・比較されている研究や関連手法として、llama.cpp、ggml、flow-matching、diffusion、BitVLA、LIBERO-Object、ALOHA、IMMA ladder GEMM が挙げられる。 - 特に llama.cpp と BitVLA は直接関連する。 - 同分野の定番としては、Vision-Language-Action モデル全般、ロボティクス向け推論ランタイム、エッジ推論最適化に関する研究が次に読むべき候補となる。