日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.05116

VOTE: 軌道アンサンブル投票による視覚-言語-行動モデルの最適化

VOTE: Vision-Language-Action Optimization with Trajectory Ensemble Voting

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの推論遅延と学習コストを削減するため、少ない行動トークンで並列生成する学習フレームワークと、過去と現在の予測を投票で統合する推論最適化を提案し、成功率と推論速度を大幅に向上させた。

詳しい要約

1. どんなもの?

- 自然言語で指示されたロボット操作タスクのための Vision-Language-Action (VLA) モデル向けの学習・推論フレームワーク。 - 名称は VOTE (Vision-Language-Action Optimization with Trajectory Ensemble Voting)。 - 課題は (i) 大量の token 生成による推論遅延と学習コスト増、(ii) 生成された action の活用不足による性能損失。 - 少数の action token を高並列に生成する finetune と、投票ベースの ensemble 推論を組み合わせる。

2. 先行研究と比べてどこがすごい?

- 既存の大規模 VLA モデルは大量 token 生成で推論遅延・学習コストが大きい点を課題として挙げている。 - 提案法は state-of-the-art の VLA モデルと比較して高い成功率を示すと主張。 - OpenVLA と比べて 39× 高速な推論、edge platform 上で 46 Hz の throughput を達成し実用的な配備可能性を示す。 - 生成 action を投票で統合し活用することで性能向上を狙う点が差分。

3. 技術・手法の肝は?

- 少数の action token を高い並列性で生成するよう VLA モデルを finetune する学習フレームワーク。 - 推論最適化として、現在と過去の action 予測を組み合わせる新しい voting-based ensemble strategy を導入。 - これにより推論遅延と学習コストを削減しつつ、生成 action の利用率と全体性能を高める。 - 具体的なモデル構造・投票アルゴリズムの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- state-of-the-art の VLA モデルとの性能比較を実施し、より高い成功率を示したと報告。 - OpenVLA 比で 39× 高速な推論、edge platform 上で 46 Hz の throughput を達成。 - 実用的な配備可能性 (practical deployability) を示す結果を提示。 - タスク・データセット・評価指標の詳細は要旨からは不明。

5. 議論はある?

- 推論遅延・学習コストの削減と、生成 action の活用不足の解消を同時に狙う点を議論。 - voting-based ensemble により現在・過去の action 予測を統合する有効性を主張。 - edge platform での 46 Hz throughput など実配備性に言及。 - 失敗事例や限界、ensemble のコスト面の議論は要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA (比較対象として明示)。 - その他の state-of-the-art VLA モデル (具体的名称は要旨からは不明)。 - Vision-Language-Action モデル全般、および action token 生成の効率化・ensemble 推論に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juyi Lin, Amir Taherin, Arash Akbari, Arman Akbari, Lei Lu, Guangyu Chen, Taskin Padir, Xiaomeng Yang, Weiwei Chen, Yiqian Li, Xue Lin, David Kaeli, Pu Zhao, Yanzhi Wang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Recent large-scale Vision Language Action (VLA) models have shown superior performance in robotic manipulation tasks guided by natural language. However, current VLA models suffer from two drawbacks: (i) generation of massive tokens leading to high inference latency and increased training cost, and (ii) insufficient utilization of generated actions resulting in potential performance loss. To address these issues, we develop a training framework to finetune VLA models for generating significantly fewer action tokens with high parallelism, effectively reducing inference latency and training cost. Furthermore, we introduce an inference optimization technique with a novel voting-based ensemble strategy to combine current and previous action predictions, improving the utilization of generated actions and overall performance. Our results demonstrate that we achieve superior performance compared with state-of-the-art VLA models, achieving significantly higher success rates and 39$\times$ faster inference than OpenVLA with 46 Hz throughput on edge platforms, demonstrating practical deployability. The code is available at https://github.com/LukeLIN-web/VOTE.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI