日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.01016

VQ-VLA:ベクトル量子化アクショントークナイザのスケーリングによる視覚-言語-行動モデルの改善

VQ-VLA: Improving Vision-Language-Action Models via Scaling Vector-Quantized Action Tokenizers

シェア:XThreadsFacebookLINEはてブBluesky

大規模な行動軌跡データセットで学習したベクトル量子化アクショントークナイザを提案し、ゼロショットで多様なロボットタスクに適応可能で、長期的タスクの成功率を最大30%向上させた。

詳しい要約

1. どんなもの?

- 大規模な action trajectory データセットで学習する vector quantization ベースの action tokenizer を提案する研究 - 100 倍以上という従来比で最大規模のデータを用いて tokenizer を構築 - 学習済み tokenizer を Vision-Language-Action モデルに組み込み、zero-shot で下流タスクに適応 - 推論の高速化と、より滑らかで一貫性のある action 出力の生成を狙う - 短期の reactive behavior から長期の planning まで幅広いタスクを対象とする

2. 先行研究と比べてどこがすごい?

- 従来手法と比べて 100 倍以上の action trajectory データを用いて tokenizer を学習 - 大規模データにより豊かな spatiotemporal dynamics を捉えられる点が特徴 - 推論の高速化に加え、action 出力の滑らかさ・一貫性が向上 - 学習済み tokenizer を zero-shot で多様な下流タスクに適応できる - synthetic と real の action trajectory 間の domain gap が小さいことを示し、synthetic データを大量に活用可能とした点が新しい知見

3. 技術・手法の肝は?

- vector quantization に基づく action tokenizer を大規模 action trajectory データで学習 - 100 倍以上のデータ規模により spatiotemporal dynamics を捉える表現を獲得 - 学習済み tokenizer を Vision-Language-Action モデルに組み込み、zero-shot で下流タスクへ適応 - synthetic と real の action trajectory の domain gap が小さいことを利用し、synthetic データを学習に活用 - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- simulated environments と実機ロボットプラットフォームの両方で広範な実験を実施 - synthetic trajectory データ量の増加に伴い、下流タスク性能が有意に向上することを確認 - 特に long-horizon シナリオの実世界 2 タスクで最大 30% の success rate 向上を報告 - 短期 reactive behavior から長期 planning まで zero-shot 適応を検証 - 詳細な実験設定やベースラインは要旨からは不明

5. 議論はある?

- synthetic と real の action trajectory 間の domain gap が小さいという知見を提示 - その結果、real-world 性能を損なわずに大量の synthetic データを活用できる可能性を示唆 - 大規模データで学習した action tokenizer が real-time embodied intelligence の堅牢かつスケーラブルな基盤になり得ると主張 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として Vision-Language-Action モデル、vector quantization を用いた action tokenizer、action trajectory の大規模学習に関する研究を挙げる - 同分野の定番として RT-1/RT-2 系の Vision-Language-Action 研究や、VQ-VAE 系の vector quantization 研究を参照するとよい - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yating Wang, Haoyi Zhu, Mingyu Liu, Jiange Yang, Hao-Shu Fang, Tong He

分類: cs.RO, cs.CV

原文アブストラクト

In this paper, we introduce an innovative vector quantization based action tokenizer built upon the largest-scale action trajectory dataset to date, leveraging over 100 times more data than previous approaches. This extensive dataset enables our tokenizer to capture rich spatiotemporal dynamics, resulting in a model that not only accelerates inference but also generates smoother and more coherent action outputs. Once trained, the tokenizer can be seamlessly adapted to a wide range of downstream tasks in a zero-shot manner, from short-horizon reactive behaviors to long-horizon planning. A key finding of our work is that the domain gap between synthetic and real action trajectories is marginal, allowing us to effectively utilize a vast amount of synthetic data during training without compromising real-world performance. To validate our approach, we conducted extensive experiments in both simulated environments and on real robotic platforms. The results demonstrate that as the volume of synthetic trajectory data increases, the performance of our tokenizer on downstream tasks improves significantly-most notably, achieving up to a 30% higher success rate on two real-world tasks in long-horizon scenarios. These findings highlight the potential of our action tokenizer as a robust and scalable solution for real-time embodied intelligence systems, paving the way for more efficient and reliable robotic control in diverse application domains.Project website: https://xiaoxiao0406.github.io/vqvla.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI