日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ロボット制御arXiv:2605.08168

視覚言語行動モデルにおける非同期推論手法の理解

Understanding Asynchronous Inference Methods for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの推論遅延による観測の古さ問題を緩和する4つの手法(IT-RTC、TT-RTC、VLASH、A2C2)を統一的コードベースで比較し、各手法の特性と有効性を明らかにした。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの推論遅延により、非同期実行時に観測が古くなる問題を扱う。 - この問題を緩和する4手法 (IT-RTC, TT-RTC, VLASH, A2C2) を制御条件下で系統的に比較。 - 統一コードベースを2つ開発し、Kinetix と LIBERO でベンチマーク。 - 推論遅延を最大 d=20 制御ステップまで掃引。

2. 先行研究と比べてどこがすごい?

- 従来は各手法が異なるコードベース、ベースポリシー、プロトコルで個別に評価されていた。 - 本研究はこれらを統一環境で初めて直接比較。 - ライブラリとデータセットのバージョンを調和させ、公平な評価を実現。

3. 技術・手法の肝は?

- 4手法: inference-time inpainting (IT-RTC), training-time delay simulation (TT-RTC), future-state-aware conditioning (VLASH), lightweight residual correction (A2C2)。 - 統一コードベースで MLPMixer ポリシーと SmolVLA を統合。 - Kinetix スイートと LIBERO マニピュレーションベンチマークで評価。 - 推論遅延 d を 0 から 20 まで変化させて性能を測定。

4. どうやって有効だと検証した?

- Kinetix スイートで MLPMixer ポリシーを用いて評価。 - LIBERO マニピュレーションベンチマークで SmolVLA を用いて評価。 - 推論遅延を d=20 制御ステップまで掃引。 - A2C2 は Kinetix で d=8 まで 90% 以上の solve rate を維持し、LIBERO では d=4 以降でリード。 - IT-RTC は低遅延で競合的だが、長チャンク (H=30) と高遅延で急激に劣化。 - TT-RTC は訓練ベースで最も堅牢、d_max 選択に安定、訓練遅延分布を超えて一般化、推論オーバーヘッドゼロ。 - VLASH は微調整遅延範囲 [0,d_max] により低遅延と高遅延のトレードオフを示す。

5. 議論はある?

- 各手法の特性と適用範囲が明らかに。 - A2C2 は高遅延で有効、IT-RTC は低遅延向き、TT-RTC は訓練ベースで堅牢、VLASH は遅延範囲依存。 - 長チャンクや高遅延時の性能劣化が課題。 - 要旨からは不明な点: 計算コストや実ロボットでの検証、他のベースポリシーへの一般化。

6. 次に読むべき論文は?

- IT-RTC (inference-time inpainting) の原論文。 - TT-RTC (training-time delay simulation) の原論文。 - VLASH (future-state-aware conditioning) の原論文。 - A2C2 (lightweight residual correction) の原論文。 - 関連手法: 非同期推論、遅延補償、VLA モデル全般。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ayoub Agouzoul

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models offer a promising path to generalist robot control, but their inference latency causes observation staleness when generated actions are executed asynchronously. Several methods have been proposed concurrently to mitigate this problem: inference-time inpainting (IT-RTC), training-time delay simulation (TT-RTC), future-state-aware conditioning (VLASH), and lightweight residual correction (A2C2). Each takes a fundamentally different approach, but they have so far been evaluated independently with different codebases, base policies, and protocols. We present a systematic comparison of these four methods under controlled conditions. We develop two unified codebases that integrate all methods with harmonized library and dataset versions, and we benchmark them on the Kinetix suite with MLPMixer policies and on the LIBERO manipulation benchmark with SmolVLA, sweeping inference delays up to $d=20$ control steps. A2C2's per-step residual correction is the most effective method on Kinetix, holding above 90% solve rate up to $d=8$, and also leads on LIBERO from $d=4$ onwards. IT-RTC is competitive at low delays but degrades sharply under long chunks ($H=30$) and high delays. TT-RTC is the most robust training-based method: stable across $d_\max$ choices, generalizes beyond its training delay distribution, and adds zero inference overhead. VLASH exhibits a clear low-delay vs. high-delay trade-off governed by the fine-tuning delay range $[0,d_\max]$. Code is available at https://github.com/TheAyos/async-vla-inference

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI