日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.12594

学ぶほど賢く枝刈り:微分可能なトークン枝刈りによる効率的な視覚-言語-行動モデル

The Better You Learn, The Smarter You Prune: Towards Efficient Vision-language-action Models via Differentiable Token Pruning

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの視覚トークンを微分可能なGumbel Softmaxで動的に枝刈りし、追加パラメータなしで計算量を削減しつつ成功率を向上させるLightVLAを提案。

詳しい要約

1. どんなもの?

- 本論文は LightVLA を提案する - vision-language-action (VLA) モデル向けの differentiable token pruning フレームワーク - 視覚トークンを適応的に間引くことで計算効率と性能の両立を狙う - 対象は実世界ロボットタスクを実行する VLA モデル - 大規模な視覚トークンに対する attention 計算がボトルネック - resource-constrained なプラットフォームでの展開を想定 - 特徴 - heuristic な magic number を必要としない - 追加の trainable parameter を導入しない - 現代の inference framework と互換

2. 先行研究と比べてどこがすごい?

- 既存の VLA モデルや既存 token pruning 手法と比較 - LIBERO benchmark の多様なタスクで優位 - 成功率を高めつつ計算オーバーヘッドを大幅削減 - 具体的な改善 - FLOPs を 59.1% 削減 - latency を 38.2% 削減 - task success rate を 2.6% 向上 - 新規性の主張 - VLA タスクに adaptive visual token pruning を適用した最初の研究 - efficiency と performance の同時達成を目的とする点が特徴 - 追加の trainable parameter を要さず magic number も不要な点が既存手法との差異

3. 技術・手法の肝は?

- 視覚トークンの重要度を動的 query で評価 - dynamic query を生成し visual token importance を推定 - Gumbel softmax により differentiable な token selection を実現 - 学習可能な形でトークン選択を最適化 - fine-tuning を通じて学習 - タスク実行に寄与する informative な視覚トークンを保持 - 寄与しないトークンを pruning - 設計上の利点 - heuristic magic number が不要 - 追加の trainable parameter を導入しない - 現代の inference framework と互換 - 派生手法 LightVLA* も検討 - learnable query-based token pruning - 追加の trainable parameter を持つ版

4. どうやって有効だと検証した?

- LIBERO benchmark 上で評価 - 多様なタスクで異なる VLA モデルおよび既存 token pruning 手法と比較 - 定量結果 - FLOPs 59.1% 削減 - latency 38.2% 削減 - task success rate 2.6% 向上 - 追加検証 - 追加 trainable parameter を持つ LightVLA* も満足な性能を達成 - 学習挙動の観察 - VLA が最適性能を追求すると、performance-driven な観点で自発的に token を pruning することを示唆

5. 議論はある?

- 性能駆動型の視覚トークン pruning が有効であることを示す - 学習に伴い不要トークンを自発的に間引く挙動を報告 - efficiency と performance の同時改善を主張 - ただし要旨では失敗例や限界の詳細は述べられていない - LightVLA* との比較 - 追加 trainable parameter 版も満足な性能だが、詳細な比較は要旨からは不明 - 実時間ロボットシステムへの実用性への言及 - 具体的な議論や制約は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は明示されていない - 比較対象として VLA モデル全般と既存 token pruning 手法が挙げられる - 関連して読むべき候補 - LIBERO benchmark を用いた VLA 研究 - vision-language-action モデル - Gumbel softmax を用いた differentiable pruning - learnable query-based token pruning - 視覚トークン pruning の既存手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Titong Jiang, Xuefeng Jiang, Yuan Ma, Xin Wen, Bailin Li, Kun Zhan, Peng Jia, Yahui Liu, Sheng Sun, Xianpeng Lang

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

We present LightVLA, a simple yet effective differentiable token pruning framework for vision-language-action (VLA) models. While VLA models have shown impressive capability in executing real-world robotic tasks, their deployment on resource-constrained platforms is often bottlenecked by the heavy attention-based computation over large sets of visual tokens. LightVLA addresses this challenge through adaptive, performance-driven pruning of visual tokens: It generates dynamic queries to evaluate visual token importance, and adopts Gumbel softmax to enable differentiable token selection. Through fine-tuning, LightVLA learns to preserve the most informative visual tokens while pruning tokens which do not contribute to task execution, thereby improving efficiency and performance simultaneously. Notably, LightVLA requires no heuristic magic numbers and introduces no additional trainable parameters, making it compatible with modern inference frameworks. Experimental results demonstrate that LightVLA outperforms different VLA models and existing token pruning methods across diverse tasks on the LIBERO benchmark, achieving higher success rates with substantially reduced computational overhead. Specifically, LightVLA reduces FLOPs and latency by 59.1% and 38.2% respectively, with a 2.6% improvement in task success rate. Meanwhile, we also investigate the learnable query-based token pruning method LightVLA* with additional trainable parameters, which also achieves satisfactory performance. Our work reveals that as VLA pursues optimal performance, LightVLA spontaneously learns to prune tokens from a performance-driven perspective. To the best of our knowledge, LightVLA is the first work to apply adaptive visual token pruning to VLA tasks with the collateral goals of efficiency and performance, marking a significant step toward more efficient, powerful and practical real-time robotic systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI