日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.38616

WHEREを正し、HOWを保つ:参照誘導によるVision-Language-Actionモデルの組合せ的一般化

Correcting WHERE, Preserving HOW: Compositional Generalization for Vision-Language-Action Models via Referential Guidance

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルが視覚的ショートカットに依存して組合せ的一般化に失敗する問題に対し、学習不要のラッパーReGuideを提案し、対象物の位置情報を用いて意味的・幾何的に再結合することで成功率を大幅に改善した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの compositional generalization を改善する手法。 - 提案手法は Referential Guidance (ReGuide) と呼ばれる training-free wrapper。 - 物体の pose を grounding module から取得し、semantic と geometric の rebinding を組み合わせて end-effector を指示対象の demonstration-supported な configuration へ導く。 - frozen policy はその configuration から実行を再開できる。

2. 先行研究と比べてどこがすごい?

- 既存手法は task-relevant perception や targeted data diversification で entanglement を緩和するが、unseen recomposition の明示的メカニズムがなく、backbone-specific な変更と再学習が必要。 - ReGuide は training-free で backbone に依存せず、再学習不要。 - 複数の VLA backbone で有効性を示し、real robot でも成功。

3. 技術・手法の肝は?

- VLA は visual shortcut を利用し、task-irrelevant な視覚特徴と行動を結びつける問題を観察。 - 再構成時、VLA は global grounding に失敗するが、familiar configuration では local manipulation skill を保持し正しい target 付近まで回復する。 - ReGuide は grounding module から object pose を得て、semantic と geometric の rebinding により end-effector を指示 referent の demonstration-supported configuration へ誘導。 - frozen policy はそこから実行を再開する。

4. どうやって有効だと検証した?

- simulation で複数の VLA backbone を用いて評価。 - compositional shift 下で success rate が最大 56.8 percentage points 向上。 - real robot でも最大 75.0 percentage points 向上。 - standard-task performance は維持。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として Vision-Language-Action (VLA) モデル、compositional generalization、visual shortcut learning、grounding module に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanyan Zhang, Disheng Liu, Xinpeng Li, Chaoda Song, Mohsen Hariri, Debargha Ganguly, Wang Yang, Kai Ye, Bryce Grant, Vipin Chaudhary, Yu Yin

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

While Vision-Language-Action (VLA) models enable flexible action generation, their generalization across diverse environmental elements, including manipulated objects, destinations, and backgrounds, is limited by the lack of diversity in robotic training data. Trained end-to-end on such data, VLAs tend to exploit visual shortcuts, associating actions with task-irrelevant visual features rather than the intended task semantics. These shortcuts block recomposition of elements already seen by the policy, that is, compositional generalization. Existing approaches mitigate such entanglement through task-relevant perception or targeted data diversification, but offer no explicit mechanism for unseen recomposition and require backbone-specific modifications with retraining. We observe that under such recomposition, VLAs often fail at global grounding while retaining local manipulation skills that recover near the correct target in familiar configurations. Therefore, we propose Referential Guidance (ReGuide), a training-free wrapper that, given object poses from a grounding module, combines semantic and geometric rebinding to guide the end-effector into demonstration-supported configurations of the instructed referent, where the frozen policy can resume execution. Experiments in simulation across multiple VLA backbones as well as on a real robot show that ReGuide improves success rates under compositional shifts by up to 56.8 and 75.0 percentage points, respectively, while preserving standard-task performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI