日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.12772

PVI: 視覚言語行動モデルのためのプラグイン型視覚注入

PVI: Plug-in Visual Injection for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みの視覚言語モデルと行動エキスパートを組み合わせたVLAアーキテクチャに対し、軽量でエンコーダ非依存のモジュールを追加し、時間的視覚特徴を注入することで性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

- 言語条件付き操作のためのVLAアーキテクチャ - 事前学習済みVLMとflow-matching action expertを組み合わせたもの - 課題: VLMは意味的抽象化に最適化され、細かい幾何的手がかりを減衰させ、時間的証拠を欠く - 提案: Plug-in Visual Injection (PVI) - 軽量でエンコーダ非依存のモジュール - 事前学習済みaction expertに接続し、補助視覚表現を注入 - zero-initialized residual pathwaysにより事前学習挙動を保持 - 単一ステージのfine-tuningのみ

2. 先行研究と比べてどこがすごい?

- 従来の補助視覚特徴注入は静的空間表現に焦点、または時間入力を扱うには大規模なアーキテクチャ変更が必要 - PVIは時間情報を軽量に注入し、アーキテクチャ変更を最小限に抑える - 制御実験で時間的ビデオ特徴(V-JEPA2)が静的画像特徴(DINOv2)より優れ、特に状態追跡と調整が必要な多段階タスクで大きな利得 - ベースポリシーや競合する注入戦略と比較して一貫した改善

3. 技術・手法の肝は?

- PVIは事前学習済みaction expertに接続する軽量モジュール - 補助視覚表現をzero-initialized residual pathwaysで注入 - エンコーダ非依存で、単一ステージのfine-tuningのみ - 時間的ビデオ特徴(V-JEPA2)を活用

4. どうやって有効だと検証した?

- ベースポリシーおよび競合する注入戦略と比較し一貫した改善を確認 - 制御実験でV-JEPA2がDINOv2より優れることを示す - シミュレーションだけでなく、長期的双腕布折りタスクの実ロボット実験で有効性を実証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- V-JEPA2 (時間的ビデオ特徴) - DINOv2 (静的画像特徴) - flow-matching action expert - 事前学習済みVLM

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zezhou Zhang, Songxin Zhang, Xiao Xiong, Junjie Zhang, Zejian Xie, Jingyi Xi, Zunyao Mao, Zan Mao, Zhixin Mai, Zhuoyang Song, Jiaxing Zhang

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

VLA architectures that pair a pretrained VLM with a flow-matching action expert have emerged as a strong paradigm for language-conditioned manipulation. Yet the VLM, optimized for semantic abstraction and typically conditioned on static visual observations, tends to attenuate fine-grained geometric cues and often lacks explicit temporal evidence for the action expert. Prior work mitigates this by injecting auxiliary visual features, but existing approaches either focus on static spatial representations or require substantial architectural modifications to accommodate temporal inputs, leaving temporal information underexplored. We propose Plug-in Visual Injection (PVI), a lightweight, encoder-agnostic module that attaches to a pretrained action expert and injects auxiliary visual representations via zero-initialized residual pathways, preserving pretrained behavior with only single-stage fine-tuning. Using PVI, we obtain consistent gains over the base policy and a range of competitive alternative injection strategies, and our controlled study shows that temporal video features (V-JEPA2) outperform strong static image features (DINOv2), with the largest gains on multi-phase tasks requiring state tracking and coordination. Real-robot experiments on long-horizon bimanual cloth folding further demonstrate the practicality of PVI beyond simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI