日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/推論高速化arXiv:2606.29350

行動に足る速さで:低遅延ロボットVLM/VLAのための時空間ビジュアルトークン統合

Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs

シェア:XThreadsFacebookLINEはてブBluesky

ロボット向け視覚言語モデルや行動モデルの推論遅延を減らすため、視覚エンコード段階で冗長なトークンを時空間的に統合するプラグアンドプレイのフレームワークST-Mergeを提案した。

詳しい要約

1. どんなもの?

本論文は、ロボティクス向けの Vision-Language Model (VLM) および Vision-Language Action Model (VLA) の推論遅延を削減するため、視覚エンコーディング段階で冗長な視覚トークンを融合するプラグアンドプレイ・学習不要のフレームワーク ST-Merge を提案する。 - 対象: ビデオや高解像度画像を入力とする VLM/VLA - 課題: 視覚トークン数が膨大になり推論遅延が増大し、ロボットのリアルタイム制御を妨げる - 提案: 3D 時空間座標を明示的に構築し、マルチキュー並列マッチングと重み付き集約でフレーム間の冗長トークンを幾何学的に一貫して融合 - 追加機構: 融合後の位置補正機構により、回転位置符号を動的に再評価して空間ずれを解消 - 効果: Qwen2.5-VL で 2 倍高速化し精度低下は 1% のみ、π_{0.5} VLA で 1024×1024 解像度時に 8.3 倍高速化しベースラインと同等の成功率を達成

2. 先行研究と比べてどこがすごい?

要旨からは、先行研究との具体的な比較は明示されていない。 - 既存手法との定量的比較や、従来のトークン削減手法との差異は要旨からは不明 - ただし、ST-Merge は「プラグアンドプレイ」「学習不要」であり、視覚エンコーディング段階で直接融合を行う点が特徴として述べられている - また、3D 時空間座標と位置補正機構により、幾何学的整合性と高精度な空間認識を両立させる点が新規性として示唆される

3. 技術・手法の肝は?

技術の肝は以下の通り。 - 3D 時空間座標の明示的構築: フレーム間の冗長トークンを特定するため - マルチキュー並列マッチングと重み付き集約: 冗長トークンを効率的かつ幾何学的に一貫して融合 - 融合後の位置補正機構: 融合で生じる空間偏差を、視覚トークンの重み付き重心の回転位置符号を動的に再評価して解消 - これにより、器用な操作に必要な高精度な空間認識を維持 - 学習不要で既存モデルに組み込み可能なプラグアンドプレイ設計

4. どうやって有効だと検証した?

以下のタスクとモデルで有効性を検証。 - Video Question Answering タスク: 主流 VLM の Qwen2.5-VL に適用し、2 倍の推論高速化を達成しつつ精度低下はわずか 1% - VLA ポリシー: π_{0.5} にデプロイし、1024×1024 解像度で 8.3 倍の高速化を達成し、この高解像度設定でベースラインの成功率と同等 - 低解像度では精度がわずかに低下することも報告

5. 議論はある?

要旨で言及されている議論・限界は以下の通り。 - 高解像度 (1024×1024) ではベースラインと同等の成功率を維持しつつ大幅な高速化を実現 - 一方、低解像度では精度がわずかに低下するというトレードオフが存在 - その他の議論 (計算コストの詳細、他モデルへの汎化性、リアルタイム制御への実際の影響など) は要旨からは不明

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法は明示されていないため、同分野の定番を一般名で挙げる。 - Vision-Language Model (VLM) の代表例: Qwen2.5-VL (要旨で使用) - Vision-Language Action Model (VLA) の代表例: π_{0.5} (要旨で使用) - 関連するトークン削減・融合手法: Token Merging (ToMe) などの一般的なトークン統合手法 - ロボティクス向け効率化: リアルタイム制御のための推論高速化に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junzhou Chen, Jindong Wang, Gang Zhou

分類: cs.CV, cs.AI

原文アブストラクト

Vision-language models and vision-language action models endow the robot with unprecedented capabilities. However, the input of video and high-resolution images yields a massive number of visual tokens, leading to extremely high inference latency and severely hindering the robot's real-time control. To break through this computational bottleneck, we propose ST-Merge, a plug-and-play, training-free framework that efficiently fuses redundant tokens directly during the visual encoding phase. By explicitly constructing 3D spatiotemporal coordinates, it employs a multi-queue parallel matching and weighted aggregation mechanism to achieve efficient and geometrically consistent fusion of redundant tokens across frames. In addition, we introduce a post-merge positional correction mechanism that effectively eliminates spatial deviation caused by merging by dynamically re-evaluating the rotational position code of the weighted centroid of the vision token, thereby ensuring the high-precision spatial awareness required for dexterous operation. In the Video Question Answering task on the mainstream VLM, Qwen2.5-VL, ST-Merge achieves a 2$\times$ inference speedup with only a tiny 1\% loss in precision. When deployed on the $π_{0.5}$ VLA policy, ST-Merge achieves an 8.3$\times$ speedup at 1024 $\times$ 1024 resolution and matches the baseline success rate at this high-resolution setting. At lower resolutions, it introduces a small drop in accuracy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI