日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.03500

VLAは閉じた世界に留まるが、新規指示への汎化能力を持つ

VLAs are Confined yet Capable of Generalizing to Novel Instructions

シェア:XThreadsFacebookLINEはてブBluesky

VLAの内部表現を推論時に操作することで、学習済みタスクのスキルを組み合わせて新規タスクを実行できることを示し、新ベンチマークLIBERO-OODで評価した。

詳しい要約

1. どんなもの?

- Vision-language-action models (VLAs) の汎化能力に関する研究 - 既存 VLA は学習済みタスクの性能は高いが、異なるタスクのスキルを組み合わせた新規指示への外挿が苦手 - 推論時に内部表現を操作することで、別タスクの振る舞いを再結合できることを示す - 新規ベンチマーク libero-ood を構築し評価

2. 先行研究と比べてどこがすごい?

- 従来 VLA は新規指示への外挿で大きく性能低下することが知られる - 本研究はモデル再学習なしに推論時の表現操作で外挿を実現 - libero-ood において SOTA VLAs は成功率 < 15% に対し、提案手法を適用した π0 は 83% を達成 - 空間的 overfitting の傾向を定性的に明らかにした点も新しい

3. 技術・手法の肝は?

- 特定の base task について、全デモ軌跡の text tokens の hidden states を平均し text latent を同定 - 外挿タスク実行時、2つの base task の text latent を時間的に interpolate し、text hidden states に加算 - これにより2つのサブ振る舞いが順次活性化される - 推論時の内部表現操作のみで、追加学習を必要としない

4. どうやって有効だと検証した?

- 標準 LIBERO スイートから外挿した20タスクからなる libero-ood を新規作成 - libero-ood 上で SOTA VLAs が < 15% 成功、π0 + text latent interpolation が 83% 成功 - 定性的分析で空間的 overfitting の傾向を確認 - text latent のデコードにより、人間には読めないが標準 LIBERO で 70% 成功する prompt が得られることを確認

5. 議論はある?

- VLAs は能力が限定されているが、内部表現操作により新規指示へ汎化可能 - 空間的 overfitting: 物体名を実理解ではなくデモ位置に対応付ける傾向 - text latent のデコードが private instruction や backdoor attacks を可能にするセキュリティ上の懸念 - 表現操作の一般性や他モデルへの適用可能性は要旨からは不明

6. 次に読むべき論文は?

- π0 (本手法を適用した基盤 VLA) - LIBERO スイート (評価基盤) - libero-ood (本研究の新規ベンチマーク) - 比較対象となる SOTA VLAs の各論文 - text latent interpolation や hidden states 操作に関する表現工学の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quanyi Li

分類: cs.RO

原文アブストラクト

Vision-language-action models (VLAs) often achieve high performance on demonstrated tasks but struggle significantly when required to extrapolate, combining skills learned from different tasks in novel ways. For instance, VLAs might successfully put the cream cheese in the bowl and put the bowl on top of the cabinet, yet still fail to put the cream cheese on top of the cabinet. In this work, we demonstrate that behaviors from distinct tasks can be effectively recombined by manipulating the VLA's internal representations at inference time. Concretely, we identify the text latent by averaging the text tokens' hidden states across all demonstrated trajectories for a specific base task. For executing an extrapolated task, we can temporally interpolate the text latent of the two base tasks and add it back to the text hidden states, so sub-behaviors from the two tasks will be activated sequentially. We evaluate this approach using the newly created libero-ood benchmark, featuring 20 tasks extrapolated from standard LIBERO suites. The results on libero-ood show that all SOTA VLAs achieve < 15% success rate, while $\pi0$ with text latent interpolation reaches an 83% success rate. Further qualitative analysis reveals a tendency for VLAs to exhibit spatial overfitting, mapping object names to demonstrated locations rather than achieving genuine object and goal understanding. Additionally, we find that decoding the text latent yields human-unreadable prompts that can nevertheless instruct the VLA to achieve a 70% success rate on standard LIBERO suites, enabling private instruction or backdoor attacks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI