日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.05758

DRIFT: 視覚言語モデルの連続出力を解読するための残差フローアダプタ

DRIFT: A Residual Flow Adapter for Decoding Continuous Outputs in Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

DRIFTは、事前学習済みの視覚言語モデルを連続値出力タスクに適応させるフレームワークで、粗い予測を基にフローマッチングで残差を生成・改善します。視覚的グラウンディングやロボット制御で既存手法を上回る性能を示しました。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)を連続出力タスクに適応させる汎用フレームワークDRIFTを提案。 - 離散トークンの自己回帰デコードに基づくVLMは、正確な連続出力(イベントの時間的境界特定やロボット制御行動生成)が苦手。 - DRIFTは、粗い推定を行うbase predictorと、flow matchingに基づく生成的精緻化モジュールを組み合わせ、反復的に予測を改善する。 - 知覚と計画タスク(visual grounding、robotic control)で評価。 - MLLM、VLA、WAMなど複数のアーキテクチャとタスクで、回帰ベースおよび生成ベースの強力な手法を一貫して上回る。

2. 先行研究と比べてどこがすごい?

- 従来のVLMは離散トークンの自己回帰デコードを用いるため、連続出力タスクに不向き。 - 既存の回帰ベース手法や生成ベース手法と比較して、DRIFTは一貫して優れた性能を示す。 - 残差定式化により、生成モデリング問題をグローバルな出力分布の学習から、強力な事前分布周りの局所的な残差分布のモデリングに変換し、最適化を大幅に簡素化。 - これにより、事前学習済みVLMを効率的に連続デコードタスクに適応可能。

3. 技術・手法の肝は?

- DRIFTはbase predictorと生成的精緻化モジュールから構成。 - base predictorはターゲット出力の粗い推定を提供。 - 生成的精緻化モジュールはflow matchingに基づき、反復的に予測を改善。 - 残差定式化: 生成モデリングをグローバル出力分布の学習から、強力な事前分布周りの局所残差分布のモデリングに変換。 - これにより最適化が大幅に簡素化される。

4. どうやって有効だと検証した?

- 知覚タスクと計画タスクの両方で評価。具体的にはvisual groundingとrobotic control。 - 複数のタスクとアーキテクチャ(MLLM、VLA、WAM)にまたがって評価。 - 回帰ベースおよび生成ベースの強力なソリューションと比較し、DRIFTが一貫して上回ることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 回帰ベースおよび生成ベースのソリューション(具体的な手法名は要旨に記載なし)。 - 関連手法: flow matching、visual grounding、robotic control、MLLM、VLA、WAM。 - 同分野の定番: 自己回帰デコードに基づくVLM、回帰ベース手法、生成ベース手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuoming Liu, Jinhong Lin, Kwan Man Cheng, Lin Zhang, Shayok Bagchi, Yin Li

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Many modern vision-language models (VLMs) build on autoregressive decoding of discrete tokens. While text-based output interfaces enable scalable pretraining and strong zero-shot generalization across diverse tasks, they are poorly suited for problems that require precise continuous outputs, such as localizing temporal boundaries of events or generating robotic control actions. To address this challenge, we propose DRIFT, a general framework for adapting pretrained VLMs to continuous decoding tasks. DRIFT combines a base predictor, which provides a coarse estimate of the target output, with a generative refinement module based on flow matching that iteratively improves the prediction. This residual formulation transforms the generative modeling problem from learning a global output distribution to modeling a localized residual distribution around a strong prior, substantially simplifying optimization. We evaluate DRIFT on both perception and planning tasks, including visual grounding and robotic control. Across multiple tasks and architectures spanning MLLMs, VLAs, and WAMs, DRIFT consistently outperforms a strong set of regression- and generative-based solutions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI