日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.01925

視覚-言語-行動モデルサーベイ:行動トークン化の観点から

A Survey on Vision-Language-Action Models: An Action Tokenization Perspective

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語の入力を行動トークンに変換して実行するVLAモデルを、行動トークンの種類(言語記述・コード・アフォーダンス・軌道など)で分類し、各手法の長所と課題を整理したサーベイ。

詳しい要約

1. どんなもの?

- 本論文は vision-language-action (VLA) モデルに関する survey である。 - 既存の VLA 研究を action token の観点から統一的に整理する枠組みを提示する。 - vision と language の入力を VLA モジュール群が処理し、action tokens の連鎖を生成して最終的に実行可能な action を出力する、という単一フレームワークで捉える。 - action token の定式化の違いが VLA モデルの主要な設計選択であると位置づける。 - 分類カテゴリは language description, code, affordance, trajectory, goal state, latent representation, raw action, reasoning の8種。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 研究は個別手法ごとに多様に見えるが、本 survey は action tokenization という単一の軸で統一的に整理する点が特徴。 - action token の定式化の違いを VLA モデルを区別する主要な設計選択として明示する。 - 各 token タイプの強みと限界を蒸留し、改善領域を特定することを狙う。 - 既存研究に対する action token の包括的理解の欠如を問題として指摘し、その補完を図る。 - 具体的な先行 survey との比較は要旨からは不明。

3. 技術・手法の肝は?

- vision と language 入力を一連の VLA モジュールで処理し、より grounded で actionable な情報を段階的に符号化する action tokens の連鎖を生成する枠組みを採用。 - action token を language description, code, affordance, trajectory, goal state, latent representation, raw action, reasoning の8カテゴリに分類。 - 各カテゴリについて既存 VLA 研究を分類・解釈し、強みと限界を整理。 - 改善が必要な領域を特定し、未探索だが有望な方向性を示す。 - 詳細なサーベイ手法(文献選定基準など)は要旨からは不明。

4. どうやって有効だと検証した?

- 本 survey は既存 VLA 研究の系統的レビューと分析を通じて枠組みを提示する。 - action tokenization の観点から既存研究を分類・解釈することで有効性を示す構成。 - 各 token タイプの強み・限界の蒸留と改善領域の特定を行う。 - 定量的な検証や実験による評価は要旨からは不明。

5. 議論はある?

- action token に関する包括的理解の欠如が VLA 開発の妨げになり、将来方向を不明瞭にしていると議論。 - 各 action token タイプの強みと限界を整理し、改善領域を特定。 - VLA モデルの広範な進化について統合的な見通しを示す。 - 未探索だが有望な方向性を強調し、今後の研究への指針を提供。 - 汎用知能に近づくことを目指す位置づけ。 - 個別の限界や反論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で具体的に参照・比較された個別研究は明示されていない。 - 本 survey が分類する action token カテゴリ(language description, code, affordance, trajectory, goal state, latent representation, raw action, reasoning)に対応する各 VLA 研究を次に読むべき候補として挙げる。 - 同分野の定番としては vision-language-action (VLA) モデル全般、vision-language model (VLM)、action tokenization 関連研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Zhong, Fengshuo Bai, Shaofei Cai, Xuchuan Huang, Zhang Chen, Xiaowei Zhang, Yuanfei Wang, Shaoyang Guo, Tianrui Guan, Ka Nam Lui, Zhiquan Qi, Yitao Liang, Yuanpei Chen, Yaodong Yang

分類: cs.RO

原文アブストラクト

The remarkable advancements of vision and language foundation models in multimodal understanding, reasoning, and generation has sparked growing efforts to extend such intelligence to the physical world, fueling the flourishing of vision-language-action (VLA) models. Despite seemingly diverse approaches, we observe that current VLA models can be unified under a single framework: vision and language inputs are processed by a series of VLA modules, producing a chain of \textit{action tokens} that progressively encode more grounded and actionable information, ultimately generating executable actions. We further determine that the primary design choice distinguishing VLA models lies in how action tokens are formulated, which can be categorized into language description, code, affordance, trajectory, goal state, latent representation, raw action, and reasoning. However, there remains a lack of comprehensive understanding regarding action tokens, significantly impeding effective VLA development and obscuring future directions. Therefore, this survey aims to categorize and interpret existing VLA research through the lens of action tokenization, distill the strengths and limitations of each token type, and identify areas for improvement. Through this systematic review and analysis, we offer a synthesized outlook on the broader evolution of VLA models, highlight underexplored yet promising directions, and contribute guidance for future research, hoping to bring the field closer to general-purpose intelligence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI