日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.09824

ProGAL-VLA: 予測的推論による視覚言語行動モデルの接地整合

ProGAL-VLA: Grounded Alignment through Prospective Reasoning in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルが指示を無視する問題に対し、3Dエンティティ中心グラフとシンボリックサブゴール計画、接地整合損失を導入し、指示感度と曖昧さ検出を向上させた。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの一種で、言語指示への感度が低く視覚的手がかりに依存する『language ignorance』を解決する手法。 - 3D entity-centric graph (GSM) を構築し、slow planner が記号的な sub-goal を生成、Grounding Alignment Contrastive (GAC) loss で grounded entity と整合させる。 - 検証済み goal embedding $g_t$ に基づいて行動し、その attention entropy を曖昧性の内在的信号として利用する。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は言語指示の変化に鈍感で視覚的ショートカットに依存しがちだった。 - ProGAL-VLA は LIBERO-Plus でロボット摂動下の robustness を 30.3% から 71.5% に向上。 - language ignorance を 3〜4 倍低減し、entity retrieval を Recall@1 で 0.41 から 0.71 に改善。 - Custom Ambiguity Benchmark で AUROC 0.81 (従来 0.52)、AUPR 0.79 を達成し、曖昧入力への clarification を 0.09 から 0.81 に引き上げつつ、非曖昧時の成功率を損なわない。

3. 技術・手法の肝は?

- 3D entity-centric graph (GSM) を構築し、slow planner が記号的な sub-goal を生成。 - Grounding Alignment Contrastive (GAC) loss により sub-goal と grounded entity を整合。 - 検証済み goal embedding $g_t$ に条件付けられた行動生成。 - attention entropy を曖昧性の内在的信号として利用し、calibrated selective prediction を実現。 - verification bottleneck が language-action 間の mutual information を増加させ、GAC loss が entity-level InfoNCE bound を課す。

4. どうやって有効だと検証した?

- LIBERO-Plus ベンチマークでロボット摂動下の robustness、language ignorance、entity retrieval (Recall@1) を評価。 - Custom Ambiguity Benchmark で AUROC、AUPR、clarification 率、非曖昧時の成功率を測定。 - 結果: robustness 30.3→71.5%、language ignorance 3〜4倍低減、Recall@1 0.41→0.71、AUROC 0.81 (vs. 0.52)、AUPR 0.79、clarification 0.09→0.81。

5. 議論はある?

- verification bottleneck が language-action 間の mutual information を増加させることを示唆。 - GAC loss が entity-level InfoNCE bound を課すことを議論。 - attention entropy が calibrated selective prediction をもたらすと主張。 - 明示的な verified grounding が指示に敏感で曖昧性を認識するエージェントへの有効な道であると結論。 - ただし、要旨からは具体的な限界や反論については不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: LIBERO-Plus、Custom Ambiguity Benchmark。 - 関連手法: Vision-Language-Action (VLA) モデル、Grounding Alignment Contrastive (GAC) loss、InfoNCE bound、slow planner、3D entity-centric graph (GSM)。 - 同分野の定番: RT-1、RT-2、PaLM-E、SayCan などが関連として考えられるが、要旨に明示的な参照はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nastaran Darabi, Amit Ranjan Trivedi

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

Vision language action (VLA) models enable generalist robotic agents but often exhibit language ignorance, relying on visual shortcuts and remaining insensitive to instruction changes. We present Prospective Grounding and Alignment VLA (ProGAL-VLA), which constructs a 3D entity-centric graph (GSM), uses a slow planner to produce symbolic sub-goals, and aligns them with grounded entities via a Grounding Alignment Contrastive (GAC) loss. All actions are conditioned on a verified goal embedding $g_t$, whose attention entropy provides an intrinsic ambiguity signal. On LIBERO-Plus, ProGAL-VLA increases robustness under robot perturbations from 30.3 to 71.5 percent, reduces language ignorance by 3x-4x, and improves entity retrieval from 0.41 to 0.71 Recall@1. On the Custom Ambiguity Benchmark, it reaches AUROC 0.81 (vs. 0.52), AUPR 0.79, and raises clarification on ambiguous inputs from 0.09 to 0.81 without harming unambiguous success. The verification bottleneck increases mutual information of language-actions, the GAC loss imposes an entity-level InfoNCE bound, and attention entropy yields calibrated selective prediction, indicating that explicit verified grounding is an effective path toward instruction-sensitive, ambiguity-aware agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI