日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.14371

OxyGen: マルチタスク並列下のVLA推論のための統合KVキャッシュ管理

OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのマルチタスク並列推論において、KVキャッシュをタスク間・時間軸で共有する統合管理手法を提案し、オンデバイスで最大3.7倍の高速化を実現した。

詳しい要約

1. どんなもの?

- 本論文は OxyGen を提案する。 - 複数タスク(manipulation, conversation, memory construction)を並列実行する embodied AI agents 向けの VLA inference システム。 - Mixture-of-Transformers (MoT) VLA の $π_{0.5}$ を対象に実装。 - on-device 向けに KV cache をタスク間・時間間で共有する unified KV cache management を導入。 - NVIDIA GeForce RTX 4090 と Jetson AGX Thor で評価。

2. 先行研究と比べてどこがすごい?

- 従来の inference systems は MoT VLA の heterogeneous outputs を効率的に並列実行できず、redundant computation と resource contention が問題だった。 - 本研究は isolated KV cache management を根本原因と特定。 - unified KV cache management により、cross-task KV sharing で shared observations の redundant prefill を排除。 - cross-frame continuous batching で variable-length language decoding と fixed-rate action generation を制御周期間で分離。 - 結果、isolated execution 比で最大 3.7× 高速化、200 tokens/s 超の language throughput と 70 Hz action frequency を同時達成。

3. 技術・手法の肝は?

- KV cache をタスク間および時間を通じて first-class shared resource として扱う unified KV cache management を設計。 - 2 つの最適化: - cross-task KV sharing: 共有観測の redundant prefill を排除。 - cross-frame continuous batching: 可変長 language decoding と固定レート action generation を制御サイクル間で分離。 - これを MoT VLA の $π_{0.5}$ に実装。

4. どうやって有効だと検証した?

- NVIDIA GeForce RTX 4090 と Jetson AGX Thor の 2 プラットフォームで評価。 - isolated execution 比で最大 3.7× の speedup を達成。 - 200 tokens/s 超の language throughput と 70 Hz action frequency を同時に実現し、action quality を劣化させない。 - さらに on-board Jetson AGX Thor を搭載した real humanoid robot で有効性を検証。

5. 議論はある?

- 要旨からは不明。 - ただし、action quality を劣化させずに高速化を達成した点、real humanoid robot で検証した点が述べられている。 - 限界や議論の詳細は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Mixture-of-Transformers (MoT) VLA、$π_{0.5}$。 - 関連手法: KV cache management、continuous batching、Vision-Language-Action Models (VLAs)。 - 同分野の定番: on-device inference systems for embodied AI agents。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu

分類: cs.RO, cs.AI

原文アブストラクト

Embodied AI agents increasingly require parallel execution of multiple tasks, such as manipulation, conversation, and memory construction, from shared observations under distinct time constraints. Recent Mixture-of-Transformers (MoT) Vision-Language-Action Models (VLAs) architecturally support such heterogeneous outputs, yet existing inference systems fail to achieve efficient multi-task parallelism for on-device deployment because of redundant computation and resource contention. We identify isolated KV cache management as the root cause. To address this, we propose unified KV cache management, an inference design that treats the KV cache as a first-class shared resource across tasks and over time. This abstraction enables two key optimizations: cross-task KV sharing eliminates redundant prefill of shared observations, while cross-frame continuous batching decouples variable-length language decoding from fixed-rate action generation across control cycles. We implement this design for $\pi_{0.5}$, a popular MoT VLA, and evaluate it on both NVIDIA GeForce RTX 4090 and Jetson AGX Thor, two representative platforms for on-device VLA inference. OxyGen achieves up to 3.7$\times$ speedup over isolated execution, delivering over 200 tokens/s language throughput and 70 Hz action frequency simultaneously without degrading action quality, and we further validate the gains on a real humanoid robot with on-board Jetson AGX Thor.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI