日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/強化学習arXiv:2607.04517

VLA Grounder: ブラックボックスVLAモデルのための言語条件付け空間最適化

VLA Grounder: Language-Conditioning Space Optimization for Black-Box VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

凍結されたVLAモデルの動作を改善するため、人間の指示をVLAに適したコマンドへ変換する言語条件付け空間ポリシーを強化学習で最適化する手法を提案。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) モデルを凍結したまま、言語指示を最適化することでタスク成功率を向上させる手法を提案する。人間の指示を、物体の外観・空間関係・目標接地の手がかりを用いた短いVLA接地コマンドに変換する言語条件付け空間ポリシーを導入する。このポリシーは、失敗から得られたコマンド空間事前分布で初期化され、スパースなタスク完了報酬を用いた強化学習 (RL) で最適化される。下流のVLAは完全に凍結される。

2. 先行研究と比べてどこがすごい?

従来のVLAモデルは、自然言語の指示を固定されたタスクラベルとして扱い、エンドツーエンドで行動ポリシーを学習する。しかし、指示の言い回しによって行動が敏感に変化するという観察に基づき、言語を最適化可能な入力とみなす点が新しい。既存の研究では、VLAの重みを更新するか、プロンプトを人手で調整することが一般的だが、本手法は凍結したVLAに対して言語空間のみをRLで最適化する点で異なる。

3. 技術・手法の肝は?

手法の核は、言語条件付け空間ポリシーを導入し、これをRLで最適化すること。ポリシーは人間の指示をVLA接地コマンドに変換する。初期化には失敗から得られたコマンド空間事前分布を用いる。報酬はスパースなタスク完了報酬であり、下流のVLAは凍結される。これにより、凍結された行動ポリシーから成功行動を引き出す最適なコマンドをRLが発見する。

4. どうやって有効だと検証した?

RL4VLAとVL-Thinkのベンチマークで実験を行い、指示に敏感なタスク、象徴的なタスク、多物体操作タスクにおいて成功率が向上することを示した。

5. 議論はある?

要旨からは、言語がロボット基盤モデルにとって最適化可能な変数として機能することを示したが、計算コストや実世界での適用可能性、他のVLAモデルへの一般化などについては不明。また、提案手法がどのようなタスクで失敗するかや、事前分布の品質への依存性も議論されていない。

6. 次に読むべき論文は?

要旨で参照されているRL4VLAとVL-Thinkの論文、および関連するVLAモデルや言語条件付け行動生成の研究。具体的には、Vision-Language-Actionモデル、Reinforcement Learning for VLA、ロボット操作における言語指示の最適化に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Damir Shodiev, Aleksei Staroverov, Nikita Kachaev, Alexey K. Kovalev, Aleksandr I. Panov

分類: cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models are commonly treated as end-to-end action policies conditioned on natural-language task descriptions. In practice, however, their behavior often depends sharply on how the instruction is phrased, suggesting that language is not merely a task label but an optimizable conditioning input. We study whether frozen VLA policies can be improved by optimizing language space rather than updating action weights. Our method introduces a language-conditioning space policy that translates a human instruction into a short VLA-grounded command using object appearance, spatial relations, and target-grounding cues. The language-conditioning space policy is initialized with a failure-derived command-space prior and optimized with reinforcement learning from sparse task-completion rewards, while the downstream VLA remains fully frozen. This yields language-conditioning space optimization: RL discovers which VLA-grounded commands best elicit successful behavior from the frozen action policy. Experiments on RL4VLA and VL-Think show that language-conditioning space optimization improves success on instruction-sensitive, symbolic, and multi-object manipulation tasks, demonstrating that language can serve as an optimizable variable for a robot foundation models. Website: https://tttonyalpha.github.io/vla_grounder

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI