日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.06154

ゼロショット視覚言語制御における視覚的接地の検証

Visual Grounding in Zero-Shot Vision-Language Control

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルをゼロショット制御に使う際、成功軌道が実際に視覚入力に基づいているかを入力削除テストで検証し、多くのモデルが視覚に依存せず動作することを示した。また、対称性を利用したガーディアン機構で視覚接地を改善する手法を提案した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language Models (VLMs) をzero-shotコントローラとして用いる際に、その意思決定が実際に視覚入力に基づいているかを検証する。入力除去バッテリ(盲画像、反復同一入力、レーン軸反射、非視覚ベースライン、パイプライン整合性チェック)を用いて、9つの直接行動モデル、6つの構造化ローカルVLM、および探索的VLM-MPC階層を、2つの実施形態と3つのシミュレータ上で32,874回のスコアリング呼び出しを分析する。

2. 先行研究と比べてどこがすごい?

従来のVLM評価はタスク成功率に焦点を当てがちで、成功が視覚的根拠によるものか、シミュレータのダイナミクスや保守的な行動事前分布によるものかを区別していない。本研究は、入力除去と反射テストを体系的に適用し、視覚的根拠の欠如を明らかにする点で新規性がある。また、直接制御の結果が概ね否定的である一方で、画像のみの決定論的ポジティブコントロールが視覚情報の十分性を確認し、モジュール性の障害を特定する。

3. 技術・手法の肝は?

手法の核は、入力除去バッテリと対称性コンセンサスガーディアンである。入力除去では、盲画像、反復入力、レーン軸反射などを用いて、モデルの視覚依存性を評価する。対称性コンセンサスガーディアンは、リーク制御された対称性コンセンサスを用いて、16枚のキャリブレーションフレームから2つのモデルを選択し、元画像と反射画像にわたる2-of-4ハザード投票を凍結する。

4. どうやって有効だと検証した?

有効性は、272枚のホールドアウトフレームでbalanced accuracy 0.954(エピソードクラスタブートストラップ95% CI [0.895, 0.990])を達成し、ネストされたleave-one-episode-outで全12フォールドで同じペアと閾値を再現した。棄権により、コミット時balanced accuracyは0.973(カバレッジ0.824)に向上した。決定論的知覚が横方向の権限を保持する場合、オフラインモジュールリプレイで0.934の行動一致と完全なミラー等価性を達成した。

5. 議論はある?

議論として、直接制御の結果は否定的で、定速SLOWポリシーがスクリプト化された幾何学的コントローラを上回り、いくつかのモデルは画像不変またはほぼ一定であり、縦方向のハザードを認識するモデルでも反射下でLEFTとRIGHTを変換できないことが示された。ローカルVLMは縦横の接地基準を満たさなかった。しかし、画像のみの決定論的ポジティブコントロールがリードギャップを0.090 m MAEで推定し、完全なミラー等価性を示したことから、刺激は十分な視覚情報を含み、失敗はモジュール固有であることが示唆される。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Vision-Language Models (VLMs) のzero-shot制御への応用、VLM-MPC階層、および入力除去や対称性テストを用いた評価手法が挙げられる。具体的な論文名は不明だが、VLMの接地性やロバスト性に関する研究、およびModel Predictive Control (MPC) とVLMの統合に関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: J. de Curtò, Dayani Plasencia, Diego Sánchez, I. de Zarzà

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-language models (VLMs) are increasingly used as zero-shot controllers, but successful trajectories do not necessarily show that decisions are grounded in visual input: simulator dynamics and conservative action priors can produce favourable scores without meaningful perception. We investigate this with an input-ablation battery: blind-image controls, repeated identical inputs, lane-axis reflection, non-visual baselines, and pipeline-integrity checks. Across nine direct-action models, six structured local VLMs, and an exploratory VLM-MPC hierarchy, we analyse 32,874 scored calls over two embodiments and three simulators. The direct-control results are largely negative: a constant-SLOW policy outperforms a scripted geometric controller, several models are image-invariant or nearly constant, and models that recognize longitudinal hazards still fail to transform LEFT and RIGHT under reflection. No local VLM meets the joint longitudinal and lateral grounding criteria. However, an image-only deterministic positive control estimates the lead gap with 0.090 m MAE and exact mirror equivariance, confirming the stimuli carry sufficient visual information; the failures are modular, not universal. A post-hoc, leakage-controlled symmetry-consensus guardian selects two models from 16 calibration frames and freezes a 2-of-4 hazard vote across original and reflected views. On 272 held-out frames it reaches 0.954 balanced accuracy (episode-cluster bootstrap 95% CI [0.895,0.990]); nested leave-one-episode-out recovers the same pair and threshold in all 12 folds. Abstaining on ties raises committed balanced accuracy to 0.973 at 0.824 coverage. With deterministic perception retaining lateral authority, offline modular replay achieves 0.934 action agreement and exact mirror equivariance. These results support current VLMs as bounded, selective hazard assistants, not monolithic zero-shot controllers.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI