日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.20014

私のカップを持ってきて!視覚的注意プロンプティングによる視覚言語行動モデルの個人化

Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting

シェア:XThreadsFacebookLINEはてブBluesky

参照画像を視覚メモリとして使い、凍結したVLAモデルにトップダウン注意を注入する学習不要のVAPを提案し、個人所有物の操作を可能にした。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおける「personalized command」問題を扱う研究 - 「bring my cup」のように、視覚的に類似した物体の中からユーザー固有の1個を操作する設定 - 訓練時に見ていないユーザー固有物体を、少数の reference images のみから同定・制御することを目指す - 提案手法は Visual Attentive Prompting (VAP) - frozen VLA に top-down selective attention を与える training-free な perceptual adapter - 評価用に2つの simulation benchmark と real-world tabletop benchmark を構築 - Personalized-SIMPLER、Personalized-VLABench、実機卓上ベンチマーク

2. 先行研究と比べてどこがすごい?

- 従来の VLA は generic instructions への汎化は良好だが、個体レベルの指示(特定インスタンス指定)は苦手 - 既存の token-learning baselines や generic policies と比較し、success rate と correct-object manipulation の両方で一貫して優位 - 学習不要(training-free)で frozen VLA に後付けできる点が特徴 - 再学習や fine-tuning を要さずに個体識別能力を付与 - 複数ロボット・複数タスクにまたがるベンチマークで有効性を示した点 - 意味理解(semantic understanding)とインスタンスレベル制御(instance-level control)のギャップを埋める狙い

3. 技術・手法の肝は?

- VAP は training-free の perceptual adapter で、frozen VLA をそのまま利用 - reference images を non-parametric visual memory として扱う - シーン内の personal object を次の2段階で ground - open-vocabulary detection による候補検出 - embedding-based matching による参照画像との照合 - 得られた grounding を visual prompt として注入 - 対象物体を highlight する - 指示文を rewrite する - これにより VLA に top-down selective attention を付与

4. どうやって有効だと検証した?

- 2つの simulation benchmark を新規構築して評価 - Personalized-SIMPLER - Personalized-VLABench - real-world tabletop benchmark も構築し実機で評価 - 複数のロボット・複数のタスクにわたり personalized manipulation を検証 - 比較対象は generic policies と token-learning baselines - 指標は success rate と correct-object manipulation - 結果として VAP が両指標で一貫して上回ったと報告

5. 議論はある?

- 要旨からは不明(具体的な限界・失敗事例・議論の詳細は記述なし) - 示唆される論点として、semantic understanding と instance-level control のギャップの橋渡し - training-free な perceptual adapter という設計上の位置づけ - 詳細な議論は本文参照が必要(要旨からは不明)

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない(要旨からは不明) - 関連手法として以下が挙げられる - Vision-Language-Action (VLA) モデル全般 - open-vocabulary detection - embedding-based matching - token-learning baselines - visual prompting - ベンチマーク関連として Personalized-SIMPLER、Personalized-VLABench、SIMPLER、VLABench 系の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sangoh Lee, Sangwoo Mo, Wook-Shin Han

分類: cs.RO, cs.AI

原文アブストラクト

While Vision-Language-Action (VLA) models generalize well to generic instructions, they struggle with personalized commands such as "bring my cup," where the robot must act on one specific instance among visually similar objects. We study this setting of manipulating personal objects, in which a VLA must identify and control a user-specific object unseen during training using only a few reference images. To address this challenge, we propose Visual Attentive Prompting (VAP), a simple-yet-effective training-free perceptual adapter that equips frozen VLAs with top-down selective attention. VAP treats the reference images as a non-parametric visual memory, grounds the personal object in the scene through open-vocabulary detection and embedding-based matching, and then injects this grounding as a visual prompt by highlighting the object and rewriting the instruction. We construct two simulation benchmarks, Personalized-SIMPLER and Personalized-VLABench, and a real-world tabletop benchmark to evaluate personalized manipulation across multiple robots and tasks. Experiments show that VAP consistently outperforms generic policies and token-learning baselines in both success rate and correct-object manipulation, helping to bridge the gap between semantic understanding and instance-level control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI