日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.20566

BFA++: マルチビュー視覚言語行動モデルのための階層的ベスト特徴認識トークンプルーニング

BFA++: Hierarchical Best-Feature-Aware Token Prune for Multi-View Vision Language Action Model

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデル向けに、視点内・視点間の2段階重要度予測で動的にトークンを削減し、マルチビュー入力の計算効率と操作成功率を両立させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- どんなもの? - Vision-Language-Action (VLA) モデル向けの動的トークンプルーニングフレームワーク BFA++ を提案。 - 多視点視覚入力のトークン増加によるリアルタイムロボット操作の課題に対処。 - 階層的プルーニング戦略を導入し、計算効率と操作成功率を向上。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存の VLM 向けトークンプルーニング手法は、視点間の関係やロボット操作の動的・タスク固有特性を無視し、VLA モデルに直接適用すると性能が低下。 - BFA++ は視点内および視点間の重要度予測器を導入し、これらの問題を克服。 - RoboTwin ベンチマークと実世界タスクで既存手法を一貫して上回り、成功率約10%向上、速度1.8倍(π0)と1.5倍(RDT)を達成。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 二段階の重要度予測器による階層的プルーニング戦略。 - intra-view predictor: 各画像内でタスク関連領域を強調し、空間ノイズを抑制。 - inter-view predictor: 操作フェーズを通じて重要なカメラ視点を特定し、視点間冗長性を低減。 - 効率的なトークン選択を可能にし、必須の視覚手がかりを保持。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - RoboTwin ベンチマークと実世界ロボットタスクで評価。 - BFA++ は π0 と RDT モデルで成功率を約10%向上。 - 速度向上は π0 で1.8倍、RDT で1.5倍。

5. 議論はある?

- 議論はある? - 文脈感応的かつタスク認識型のトークンプルーニングが、完全な視覚処理よりも効果的な戦略であることを強調。 - これにより、実世界ロボットシステムでの推論高速化と操作精度向上が可能。 - 要旨からは、限界や今後の課題についての議論は不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究: π0, RDT, RoboTwin ベンチマーク。 - 関連手法: token pruning for VLMs, Vision-Language-Action (VLA) models。 - 同分野の定番: 特に指定なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haosheng Li, Weixin Mao, Zihan Lan, Hongwei Xiong, Hongan Wang, Chenyang Si, Ziwei Liu, Xiaoming Deng, Hua Chen

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have achieved significant breakthroughs by leveraging Large Vision Language Models (VLMs) to jointly interpret instructions and visual inputs. However, the substantial increase in visual tokens, particularly from multi-view inputs, poses serious challenges to real-time robotic manipulation. Existing acceleration techniques for VLMs, such as token pruning, often result in degraded performance when directly applied to VLA models, as they overlook the relationships between different views and fail to account for the dynamic and task-specific characteristics of robotic operation. To address this, we propose BFA++, a dynamic token pruning framework designed specifically for VLA models. BFA++ introduces a hierarchical pruning strategy guided by two-level importance predictors: an intra-view predictor highlights task-relevant regions within each image to suppress spatial noise, while an inter-view predictor identifies critical camera views throughout different manipulation phases to reduce cross-view redundancy. This design enables efficient token selection while preserving essential visual cues, resulting in improved computational efficiency and higher manipulation success rates. Evaluations on the RoboTwin benchmark and real-world robotic tasks demonstrate that BFA++ consistently outperforms existing methods. BFA++ improves the success rate by about 10% on both the {\pi}0 and RDT models, achieving speedup of 1.8X and 1.5X, respectively. Our results highlight that context-sensitive and task-aware token pruning serves as a more effective strategy than full visual processing, enabling faster inference and improved manipulation accuracy in real-world robotic systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI