日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.16065

DTP: 視覚言語行動モデルのための簡便かつ効果的な妨害トークン枝刈りフレームワーク

DTP: A Simple yet Effective Distracting Token Pruning Framework for Vision-Language Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルがタスク無関係領域の画像トークンに過剰に注意する問題を解決するため、動的に検出・枝刈りするプラグアンドプレイのDTPフレームワークを提案し、タスク成功率を改善した。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language Action (VLA) モデルにおける「distracting tokens」問題に対処するための、シンプルで効果的なプラグアンドプレイの Distracting Token Pruning (DTP) フレームワークを提案する。 - VLA モデルは Vision-Language Models (VLMs) の知覚能力を活用してロボットマニピュレーションを行うが、タスクに無関係な画像トークンに過度に注意を向けることがあり、これがアクショントークンの生成を妨げ、タスク成功率を低下させる。 - DTP は、そのような distracting な画像トークンを動的に検出して pruning することで、モデルの視覚的注意パターンを修正し、タスク成功率の向上を目指す。 - モデルの元のアーキテクチャを変更したり、追加の入力を必要とせず、性能の上限を探索する。

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは、タスクに無関係な領域の画像トークンに過度に注意を向ける問題があったが、DTP はこれを「distracting tokens」として明示的に定義し、動的に検出・pruning する初めてのフレームワークである。 - 既存の手法と比較して、DTP はプラグアンドプレイで適用可能であり、モデルアーキテクチャの変更や追加入力を必要としない点が優れている。 - 実験では、異なるタイプの新しい VLA モデルに対して一貫した相対的な成功率の改善を達成し、transformer ベースの VLA への一般性を示した。

3. 技術・手法の肝は?

- DTP の肝は、VLA モデルがタスクに無関係な画像トークン(distracting tokens)に注意を向けていることを検出し、それらを動的に pruning する点にある。 - 具体的には、モデルの視覚的注意パターンを分析し、タスクに関連しない領域への注意を特定して除去することで、アクショントークンの生成を妨げる要因を排除する。 - この処理はプラグアンドプレイで、元のアーキテクチャを変更せず、追加の入力も不要である。

4. どうやって有効だと検証した?

- SIMPLER Benchmark (Li et al., 2024) を用いて実験を行い、異なるタイプの新しい VLA モデルに対してタスク成功率の相対的な改善を一貫して達成した。 - さらに、すべてのテストモデルにおいて、タスク成功率とタスクに無関係な領域への注意量との間に負の相関があることを明らかにした。

5. 議論はある?

- 本論文では、VLA モデルがタスクに無関係な領域に注意を向ける共通現象を指摘し、それが成功率と負の相関を持つことを示した。 - この現象は将来の研究の指針となり得るが、DTP の限界や他の要因との関係については要旨からは不明である。

6. 次に読むべき論文は?

- 要旨で参照されている研究: SIMPLER Benchmark (Li et al., 2024)。 - 関連手法: Vision-Language Action (VLA) モデル、Vision-Language Models (VLMs)、transformer ベースの VLA。 - 同分野の定番: ロボティクスマニピュレーションにおける Vision-Language モデル、注意機構の pruning 手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenyang Li, Jieyuan Liu, Bin Li, Bo Gao, Yilin Yuan, Yangfan He, Yuchen Li, Jingqun Tang

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language Action (VLA) models have shown remarkable progress in robotic manipulation by leveraging the powerful perception abilities of Vision-Language Models (VLMs) to understand environments and directly output actions. However, by default, VLA models may overly attend to image tokens in the task-irrelevant region, which we describe as 'distracting tokens'. This behavior can disturb the model from the generation of the desired action tokens in each step, affecting the success rate of tasks. In this paper, we introduce a simple yet effective plug-and-play Distracting Token Pruning (DTP) framework, which dynamically detects and prunes these distracting image tokens. By correcting the model's visual attention patterns, we aim to improve the task success rate, as well as exploring the performance upper boundaries of the model without altering its original architecture or adding additional inputs. Experiments on the SIMPLER Benchmark (Li et al., 2024) show that our method consistently achieving relative improvements in task success rates across different types of novel VLA models, demonstrating generalizability to transformer-based VLAs. Further analysis reveals a negative correlation between the task success rate and the amount of attentions in the task-irrelevant region for all models tested, highlighting a common phenomenon of VLA models that could guide future research. We also publish our code at: https://anonymous.4open.science/r/CBD3.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI