日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.26742

VLAをリアルタイム速度で動かす

Running VLAs at Real-time Speed

シェア:XThreadsFacebookLINEはてブBluesky

単一のコンシューマGPU上でpi0級のマルチビューVLAを30Hzのフレームレート・最大480Hzの軌道周波数で動作させる推論最適化手法を提案し、落下するペンを掴むタスクで100%の成功率を達成した。

詳しい要約

1. どんなもの?

- 目的: pi0 級の multi-view VLA を単一の consumer GPU 上で 30Hz の frame rate、最大 480Hz の trajectory frequency で動かす手法の提案。 - 意義: 従来は大規模 VLA では不可能とされた動的・real-time タスクの実現を狙う。 - 成果物: 推論 overhead を削減する複数の strategy と、real-time ロボット制御向けの full streaming inference framework を提示。 - 公開: コードは https://github.com/Dexmal/realtime-vla で公開。

2. 先行研究と比べてどこがすごい?

- 比較対象: pi0 級の multi-view VLA は従来、大規模モデルの推論コストゆえ動的・real-time タスクは困難とされてきた。 - 差分: 単一 consumer GPU で 30Hz frame rate・最大 480Hz trajectory frequency を達成し、この通念を覆す点。 - 効果: 同じ pi0 policy を用いて falling pen の grasping で 100% の success rate を実世界で示した。 - 注意: 具体的な先行研究名・数値比較は要旨からは不明。

3. 技術・手法の肝は?

- 方針: モデル推論における overhead を排除するための bag of strategies を導入。 - 構成: 複数の strategy を組み合わせ、pi0 級 multi-view VLA の推論を高速化。 - 拡張: その結果を踏まえ、VLA の real-time ロボット制御向け full streaming inference framework を提案。 - 詳細: 各 strategy の具体的な中身・アルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

- 実世界実験: pi0 policy に提案 strategy を適用し、falling pen を grasping するタスクを実施。 - 結果: 100% の success rate を達成。 - 性能: 単一 consumer GPU で 30Hz frame rate・最大 480Hz trajectory frequency を実現。 - 詳細: 被験者数・試行回数・比較 baseline の設定は要旨からは不明。

5. 議論はある?

- 主張: 大規模 VLA でも動的・real-time タスクが可能であることを実世界実験で示唆。 - 提案: 結果に基づき full streaming inference framework を提示。 - 限界: 汎用性・他タスクへの適用性・latency の内訳などは要旨からは不明。 - 未解決点: strategy ごとの寄与や失敗ケースの議論は要旨からは不明。

6. 次に読むべき論文は?

- pi0: 本手法が対象とする multi-view VLA policy。 - VLA 全般: vision-language-action モデルの real-time 推論に関する研究。 - streaming inference: ロボット制御向け full streaming inference の関連手法。 - 注意: 要旨で明示的に参照・比較された個別論文名は記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunchao Ma, Yizhuang Zhou, Yunhuan Yang, Tiancai Wang, Haoqiang Fan

分類: cs.RO

原文アブストラクト

In this paper, we show how to run pi0-level multi-view VLA at 30Hz frame rate and at most 480Hz trajectory frequency using a single consumer GPU. This enables dynamic and real-time tasks that were previously believed to be unattainable by large VLA models. To achieve it, we introduce a bag of strategies to eliminate the overheads in model inference. The real-world experiment shows that the pi0 policy with our strategy achieves a 100% success rate in grasping a falling pen task. Based on the results, we further propose a full streaming inference framework for real-time robot control of VLA. Code is available at https://github.com/Dexmal/realtime-vla.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI