日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.13030

行動誘導と未来予測によるVLAモデルの効率的なトークン削減フレームワーク

APS-VLA: Action-Guided and Future-Aware Token Pruning for Efficient Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット実演から視覚トークンの重要度を学習し、行動予測と将来の視覚遷移を手がかりにトークンを削減することで、VLAモデルの推論を高速化する手法を提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) ポリシー向けの visual token pruning フレームワーク APS-VLA を提案 - 目的は dense な visual token 処理による推論遅延の削減 - pretrained VLA backbone は frozen のまま、visual token 選択を robot demonstrations から学習 - 軽量な Decision Influence Estimator が visual observations・language instructions・robot proprioception に条件づけて token をスコアリング - 展開時は policy の native action-generation 手順の前に single hard selection と packing を行う plug-in 型フレームワーク

2. 先行研究と比べてどこがすごい?

- 既存手法は token 重要度推定に static または即時の heuristic cue を主に用いる - APS-VLA は robot demonstrations から visual token 選択を学習する点が異なる - 重要度推定を current visual observations・language instructions・robot proprioception に条件づける - action supervision と auxiliary visual transition objective の二つの信号を組み合わせて学習 - backbone を frozen に保ち policy parameters と native action-generation 手順を保持する modular な plug-in 設計

3. 技術・手法の肝は?

- 軽量な Decision Influence Estimator が token をスコアリングし、single hard selection と packing を実行 - 学習信号1: action supervision により full-input policy predictions と demonstrated actions の両方に一致させる - 学習信号2: auxiliary visual transition objective により demonstrated actions を用いて選択表現から subsequent visual features を予測 - 展開時は auxiliary predictor を除去し、estimator のみで選択を行う - pretrained VLA backbone は frozen のまま維持

4. どうやって有効だと検証した?

- OpenVLA-OFT を LIBERO で評価 - π_{0.5} と XR-1 を RoboCasa365 で評価し、推論加速と task success の小さな変化を確認 - 2 台の dual-arm platforms 上の 5 つの real-world tasks で評価 - mean policy inference latency を 137.25 ms から 93.25 ms に短縮し 1.47× speedup - 平均 success rate は 61%(unpruned baseline は 60%)

5. 議論はある?

- 推論加速と task success の modest な変化のトレードオフが示唆される - backbone を frozen に保つ modular 設計により VLA architectures 間で plug-in 可能と主張 - ただし要旨からは、pruning 率や token 数などの詳細な設定、失敗事例、限界については不明 - 評価は限られたベンチマークと実機タスクに基づく

6. 次に読むべき論文は?

- OpenVLA-OFT(LIBERO での比較対象 backbone) - π_{0.5}(RoboCasa365 での評価対象) - XR-1(RoboCasa365 での評価対象) - VLA における visual token pruning の既存手法(static/heuristic cue ベース) - LIBERO および RoboCasa365 のベンチマーク論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoyang Xing, Chun-Mei Feng, Anthony Cohn, Xiaoliang Gong, Asoke Nandi

分類: cs.AI

原文アブストラクト

Vision-language-action (VLA) policies have demonstrated strong generalization in robotic manipulation, yet processing dense visual tokens often incurs high inference latency. Visual token pruning offers a practical way to reduce this cost, but identifying a compact set of tokens that preserves reliable action generation remains challenging. Existing methods largely rely on static or immediate heuristic cues to estimate token importance. We introduce APS-VLA, a framework that learns visual token selection from robot demonstrations while keeping the pretrained VLA backbone frozen. A lightweight Decision Influence Estimator scores tokens conditioned on current visual observations, language instructions, and robot proprioception. Its training combines two complementary signals: action supervision matches both the full-input policy predictions and demonstrated actions, while an auxiliary visual transition objective uses demonstrated actions to predict subsequent visual features from the selected representation. At deployment, the estimator performs a single hard selection and packing step before the policy's native action-generation procedure; the auxiliary predictor is removed. Experiments with OpenVLA-OFT on LIBERO and with $π_{0.5}$ and XR-1 on RoboCasa365 demonstrate inference acceleration with modest changes in task success. Across five real-world tasks on two dual-arm platforms, APS-VLA reduces mean policy inference latency from 137.25 to 93.25 ms, achieving a $1.47\times$ speedup with an average success rate of 61%, compared with 60% for the unpruned baseline. Together, these results support APS-VLA as a modular, plug-in framework for efficient robotic control across VLA architectures, preserving the underlying policy parameters and native action-generation procedure.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI