日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.09927

Token Expand-Merge: VLAモデルのための学習不要トークン圧縮

Token Expand-Merge: Training-Free Token Compression for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの推論を高速化するため、追加トークンの動的展開と行動認識に基づく統合を組み合わせた学習不要のトークン圧縮手法TEAM-VLAを提案し、LIBEROで成功率を維持しつつ速度を改善した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの学習不要 token 圧縮フレームワーク「Token Expand-and-Merge-VLA (TEAM-VLA)」 - 数十億パラメータ規模の VLA の推論コスト・遅延を削減することを目的とする - 再学習やパラメータ更新を一切行わない training-free 手法 - 単一の feed-forward pass 内で token の「拡張」と「統合」を組み合わせる - 推論高速化とタスク性能維持のトレードオフを狙う - コードは公開済み (GitHub: Jasper-aaa/TEAM-VLA)

2. 先行研究と比べてどこがすごい?

- 既存の VLA は大規模パラメータゆえ推論が高コスト・高遅延で、動的環境でのリアルタイム展開が困難 - TEAM-VLA は再学習・パラメータ更新を不要としつつ推論を高速化する点が特徴 - 単なる token 削減ではなく、attention が注目する領域周辺の情報を補う「拡張」を先に行う点が従来の圧縮と異なる - LIBERO benchmark で、full VLA モデルのタスク成功率を維持または上回りながら推論速度を一貫して改善したと報告 - 具体的な比較対象の先行手法名は要旨からは不明

3. 技術・手法の肝は?

- 動的な token 拡張機構 (dynamic token expansion) - attention で強調された領域の空間的近傍から、追加の情報量の高い token を同定・サンプリングする - これにより文脈の完全性 (contextual completeness) を高める - 拡張された token を深い層で選択的に統合 (merge) - action-aware guidance の下で冗長性を削減し、意味的一貫性を保つ - 拡張と統合を単一の feed-forward pass 内で結合 - 再学習やパラメータ更新なしで効率と有効性のバランスを取る

4. どうやって有効だと検証した?

- LIBERO benchmark を用いた広範な実験を実施 - 評価観点は推論速度とタスク成功率 - 結果として、推論速度を一貫して改善しつつ、full VLA モデルのタスク成功率を維持または上回ったと報告 - 具体的なベースライン数値や ablation の詳細は要旨からは不明

5. 議論はある?

- 学習不要で推論を高速化しつつ性能を維持・向上できる点を主張 - 拡張と統合を単一 pass で行う設計により効率と有効性のトレードオフを取ると述べる - 限界や失敗ケース、計算オーバーヘッドの詳細な議論は要旨からは不明 - 評価は LIBERO benchmark に限定されており、実機や他タスクへの一般化は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、VLA モデル (Vision-Language-Action models) の代表的研究、token compression / token merging 系の手法、LIBERO benchmark の原論文を次に読む候補として挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Ye, Jiaqi Ma, Jun Cen, Zhihe Lu

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models pretrained on large-scale multimodal datasets have emerged as powerful foundations for robotic perception and control. However, their massive scale, often billions of parameters, poses significant challenges for real-time deployment, as inference becomes computationally expensive and latency-sensitive in dynamic environments. To address this, we propose Token Expand-and-Merge-VLA (TEAM-VLA), a training-free token compression framework that accelerates VLA inference while preserving task performance. TEAM-VLA introduces a dynamic token expansion mechanism that identifies and samples additional informative tokens in the spatial vicinity of attention-highlighted regions, enhancing contextual completeness. These expanded tokens are then selectively merged in deeper layers under action-aware guidance, effectively reducing redundancy while maintaining semantic coherence. By coupling expansion and merging within a single feed-forward pass, TEAM-VLA achieves a balanced trade-off between efficiency and effectiveness, without any retraining or parameter updates. Extensive experiments on LIBERO benchmark demonstrate that TEAM-VLA consistently improves inference speed while maintaining or even surpassing the task success rate of full VLA models. The code is public available on \href{https://github.com/Jasper-aaa/TEAM-VLA}{https://github.com/Jasper-aaa/TEAM-VLA}

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI