日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/効率化arXiv:2605.29662

SAFE-Pruner: 意味的注意に基づく未来予測型トークンプルーニングによる効率的な視覚言語行動操作

SAFE-Pruner: Semantic Attention-Guided Future-Aware Token Pruning for Efficient Vision-Language-Action Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの推論を高速化するため、将来の層の注意情報を予測して重要でない視覚トークンを刈り込むプラグアンドプレイ手法を提案した。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action (VLA) モデルの推論を高速化するためのトークンプルーニング手法「SAFE-Pruner」を提案している。 - VLA モデルはロボット制御に用いられ、リアルタイム推論が求められる。 - 既存のプルーニング手法は浅い層の手がかりに基づいており、深い層で必要な視覚情報を捨てるリスクがある。 - SAFE-Pruner は、将来の層の注意手がかりをプルーニング決定に組み込むプラグアンドプレイのフレームワークである。 - これにより、最大1.89倍の高速化を達成し、成功率の低下を1.5%未満に抑え、最先端手法を最大1.9%上回る性能を示す。

2. 先行研究と比べてどこがすごい?

- 既存の視覚トークンプルーニング手法は、主に浅い層の手がかりに基づいてプルーニング決定を行い、深い層で必要とされる視覚情報を捨てるリスクがあった。 - SAFE-Pruner は、将来の層の注意手がかりを利用することで、この問題を解決し、より安定した加速を実現する。 - 具体的には、VLA モデルが制御タイムステップ間で同じ意味エンティティに注意確率質量を集中させる「semantic attention consistency」を特定し、これに基づいて深い層でのトークン重要度を予測する。 - これにより、重要なトークンの早期除去を防ぎ、最先端手法を最大1.9%上回る性能を達成する。

3. 技術・手法の肝は?

- 鍵となるのは「semantic attention consistency」の発見:VLA モデルが制御タイムステップ間で同じ意味エンティティに注意を集中させる傾向。 - これに基づき、深い層でのトークン重要度を予測する「forward-looking strategy」を設計。 - さらに、注意の変化に応じて更新をトリガーする「reference timestep refresh strategy」を導入し、予測精度とプルーニング信頼性を向上。 - これらにより、重要なトークンの早期除去を防ぎ、安定した加速を実現。

4. どうやって有効だと検証した?

- 多様な評価設定での広範な実験を実施。 - 最大1.89倍の高速化を達成し、成功率の低下は1.5%未満。 - 最先端手法を最大1.9%上回る性能を示した。 - 具体的なデータセットやベンチマーク名は要旨からは不明。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - ただし、semantic attention consistency の観察に基づく手法であり、注意の変化に対する refresh strategy の有効性が示唆されている。 - 今後の課題や適用範囲については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、視覚トークンプルーニング(visual token pruning)や VLA モデル(vision-language-action models)の効率化に関する研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shilin Ma, Chubin Zhang, Changyuan Wang, Yuji Wang, Yue Wu, Zixuan Wang, Jingqi Tian, Zheng Zhu, Yansong Tang

分類: cs.CV, cs.RO

原文アブストラクト

Real-time inference of vision-language-action (VLA) models is essential for robotic control. While visual token pruning has shown strong potential for accelerating inference, most existing methods mainly base pruning decisions on shallow-layer cues and risk discarding visual information required by deep layers. To address this issue, we propose SAFE-Pruner, a plug-and-play pruning framework that incorporates attention cues of future layers into pruning decisions. Specifically, we identify semantic attention consistency, the tendency that VLA models concentrate their attention probability mass on the same semantic entity across control timesteps. Based on this observation, we design a forward-looking strategy to forecast the token saliency in deep layers, which prevents the premature removal of critical tokens and leads to more stable acceleration. We further introduce a reference timestep refresh strategy that triggers updates upon attention shifts, thereby improving forecasting accuracy and pruning reliability. Extensive experiments across diverse evaluation settings demonstrate that our method achieves up to 1.89x speedup with a minimal degradation in success rate of less than 1.5%, while outperforming state-of-the-art methods by up to 1.9%.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI