日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.22003

VP-VLA: 視覚プロンプトをインターフェースとする視覚言語行動モデル

VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのブラックボックス的な制御を改善するため、高次推論と低次実行を分離し、視覚プロンプト(十字線やバウンディングボックス)を介して指示を伝える二重システムフレームワークを提案した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの新フレームワーク VP-VLA を提案。 - 視覚観測と言語指示を直接制御信号に写像する従来の black-box 型ではなく、dual-system 構成を採用。 - System 2 Planner が高レベル推論を行い、System 1 Controller が低レベル実行を担当。 - 両者を visual prompting インターフェースで接続する点が特徴。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は単一 forward pass で指示解釈・空間 grounding・低レベル制御を同時処理し、空間精度や out-of-distribution 頑健性が低い。 - VP-VLA は高レベル推論と低レベル実行を分離し、空間精度と頑健性を改善。 - dense masks や affordance maps、制御特化表現ではなく、RGB 観測空間に描画する modality-consistent な visual prompts を用いる。 - これにより modality mismatch を回避。 - シミュレーションと実世界で QwenOFT や GR00T-N1.6 などの state-of-the-art end-to-end ベースラインを上回る。

3. 技術・手法の肝は?

- dual-system フレームワーク。 - System 2 Planner が複雑な指示を sub-tasks に分解し、対象物体と goal locations を特定。 - これらの spatial anchors を crosshairs や bounding boxes として native RGB 観測空間に直接描画。 - System 1 Controller は visual prompts に導かれ、auxiliary visual grounding objective を訓練時に追加して精密な低レベル動作を生成。

4. どうやって有効だと検証した?

- シミュレーションと実世界の両方で extensive experiments を実施。 - QwenOFT や GR00T-N1.6 を含む state-of-the-art end-to-end ベースラインと比較し、VP-VLA が上回ることを示した。 - 詳細な評価指標やタスク設定は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 提案手法の限界、失敗事例、計算コスト、スケーラビリティに関する議論は要旨に記載されていない。

6. 次に読むべき論文は?

- QwenOFT - GR00T-N1.6 - 関連手法として Vision-Language-Action (VLA) モデル全般、visual prompting、dual-system アーキテクチャ、visual grounding に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixuan Wang, Yuxin Chen, Yuqi Liu, Jinhui Ye, Pengguang Chen, Changsheng Lu, Shu Liu, Bei Yu, Jiaya Jia

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models typically map visual observations and linguistic instructions directly to control signals. This "black-box" mapping forces a single forward pass to simultaneously handle instruction interpretation, spatial grounding, and low-level control, often leading to poor spatial precision and limited robustness in out-of-distribution scenarios. To address these limitations, we propose VP-VLA, a dual-system framework that decouples high-level reasoning and low-level execution via a structured visual prompting interface. Specifically, a "System 2 Planner" decomposes complex instructions into sub-tasks and identifies relevant target objects and goal locations. These spatial anchors are rendered directly within the native RGB observation space as modality-consistent visual prompts, such as crosshairs and bounding boxes. This avoids the modality mismatch introduced by dense masks, affordance maps, or additional control-specific representations. Guided by these prompts and enhanced by a novel auxiliary visual grounding objective during training, a "System 1 Controller" reliably generates precise low-level execution motions. Extensive experiments in simulation and real world demonstrate that VP-VLA surpasses state-of-the-art end-to-end baselines including QwenOFT and GR00T-N1.6. Project page: https://visualprompt-vla.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI