日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/圧縮arXiv:2605.11817

重要なものを見る:汎用視覚言語行動モデルのための微分可能グリッドサンプル刈り込み

See What Matters: Differentiable Grid Sample Pruning for Generalizable Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの計算コストを削減するため、タスクに応じて視覚トークンを連続的に再サンプリングする微分可能グリッドサンプラを提案。10%未満のトークンで精度を保ちつつFLOPsを76%削減。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの推論コスト削減を目的とした Differentiable Grid Sampler (GridS) を提案。 - 視覚エンコーダ内で task-aware な連続的トークン再サンプリングを行う plug-and-play モジュール。 - 元の視覚トークンの10%未満まで圧縮しつつ、接触点などの重要な幾何情報を保持する。

2. 先行研究と比べてどこがすごい?

- 既存の token pruning は圧縮率と性能のトレードオフがあり、攻めた圧縮は接触点などの重要幾何情報を捨て性能劣化を招く。 - GridS は圧縮を geometry-aware な連続再サンプリングとして捉え直し、このトレードオフの打破を狙う。 - これまで報告された中で最小の視覚トークン数で、成功率を落とさず FLOPs を76%削減。

3. 技術・手法の肝は?

- タスクに応じて salient な座標を適応的に予測し、differentiable interpolation で特徴を抽出する。 - 離散的な pruning ではなく連続的な resampling として視覚トークンを再構成する。 - plug-and-play で VLA に組み込めるモジュールとして設計。

4. どうやって有効だと検証した?

- LIBERO benchmark と実機ロボットプラットフォームの両方で実験。 - 成功率を劣化させずに FLOPs を76%削減できることを確認。 - 現時点で報告されている中で最小の実用的視覚トークン数であることを検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている既存の token pruning 手法。 - LIBERO benchmark。 - Vision-Language-Action (VLA) モデル全般。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yixu Feng, Zinan Zhao, Yanxiang Ma, Chenghao Xia, Chengbin Du, Yunke Wang, Chang Xu

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have shown remarkable promise in robotics manipulation, yet their high computational cost hinders real-time deployment. Existing token pruning methods suffer from a fundamental trade-off: aggressive compression using pruning inevitably discards critical geometric details like contact points, leading to severe performance degradation. This forces a compromise, limiting the achievable compression rate and thus the potential speedup. We argue that breaking this trade-off requires rethinking compression as a geometry-aware, continuous token resampling in the vision encoder. To this end, we propose the Differentiable Grid Sampler (GridS), a plug-and-play module that performs task-aware, continuous resampling of visual tokens in VLA. By adaptively predicting a minimal set of salient coordinates and extracting features via differentiable interpolation, GridS preserves essential spatial information while achieving drastic compression (with fewer than 10% original visual tokens). Experiments on both LIBERO benchmark and a real robotic platform demonstrate that validating the lowest feasible visual token count reported to date, GridS achieves a 76% reduction in FLOPs with no degradation in the success rate. The code is available at https://github.com/Fediory/Grid-Sampler.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI