日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.13308

GroundBench: VLMのアフォーダンス失敗を切り分ける因子分解・反事実ベンチマーク

GroundBench: A Factorized, Counterfactual Benchmark for Locating VLM Affordance Failures

シェア:XThreadsFacebookLINEはてブBluesky

操作プロンプトに含まれる「部位の名前」と「位置」の情報を段階的に分離し、視覚言語モデルがどこで失敗するかを診断するベンチマークを提案。名前だけ与えると精度が上がる一方、位置だけでは向上しないことを示した。

詳しい要約

1. どんなもの?

- VLMのaffordance失敗を診断するベンチマーク - 名称: GroundBench - 特徴: factorizedかつcounterfactualな設計 - 目的: 操作プロンプトにおける視覚的grounding、機械的推論、カテゴリから行動への連想を分離 - 構成: 6つのbranch-and-merge条件とcounterfactual re-ask - 評価対象: 3つのOpenAIモデル、1,068予測

2. 先行研究と比べてどこがすごい?

- 先行のcompanion evaluationでは、対象部位を命名すると8つのVLMで行動精度が0.32-0.63向上 - しかし命名は実システムが推論すべき情報を供給し、交絡要因となる - GroundBenchはこの交絡を制御された情報バンドルで分離 - 視覚的grounding、機械的推論、カテゴリから行動への連想を切り分け - 従来のベンチマークと異なり、counterfactual re-askでショートカットを検出

3. 技術・手法の肝は?

- 6つのbranch-and-merge条件 - 各条件が制御された情報バンドルを追加 - counterfactual re-ask - 同じ画像内に見える実際の代替部位を対象 - 情報の種類を分離 - 対象領域のみ(identityなし) - identityのみ(locationなし) - 部位カテゴリ、joint type、motion axisなど - no-vision controlも実施

4. どうやって有効だと検証した?

- 3つのOpenAIモデルで1,068予測を評価 - 対象領域のみ供給時: 行動精度は多数派ベースライン0.53以下(0.26, 0.26, 0.53) - モデルは供給領域を概ね再現 - identityのみ供給時: 0.74, 0.68, 0.68 - ベースライン超えの利得は、供給された部位カテゴリ自体が行動を決定する場合に発生 - no-vision controlでGPT-5のスコアは不変または改善 - 74のcounterfactualペア(32物体)でGPT-5はpair-weighted compliance 0.86、shortcut rate 0.07 - ただしpush-to-lift-verticalの全ケースで失敗

5. 議論はある?

- 供給情報がaffordance行動をどう変えるかを特定 - 見かけ上のgrounded性能がテキストショートカットで再現可能か検証 - GPT-5のno-vision control結果は、実質的なカテゴリから行動への連想を示唆 - ただしGPT-4o miniは1条件で低下し、解釈は普遍的でない - joint typeとmotion axisの追加は6つのモデル層比較で精度改善なし - 限界: 対象モデルがOpenAI製に限定、counterfactualペア数は74

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - companion evaluation(対象部位命名で行動精度向上を示した研究) - 関連手法 - VLM affordance評価ベンチマーク - counterfactual評価 - no-vision controlを用いたショートカット検出 - 同分野の定番 - 視覚的groundingベンチマーク - ロボティクス操作のaffordance学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sarthak Sattigeri

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

A companion evaluation found that naming the target part in a manipulation prompt increased action accuracy by 0.32-0.63 across eight vision-language models, with no model outperforming a constant baseline until the part was named. However, naming the part supplies information that a real system must infer, confounding visual grounding, mechanical reasoning, and category-to-action association. We introduce GroundBench, a diagnostic benchmark that separates these explanations through six branch-and-merge conditions, each adding a controlled information bundle, and a counterfactual re-ask targeting a real alternate part visible in the same image. Across three OpenAI models and 1,068 predictions, supplying the target region without its identity leaves action accuracy at or below the 0.53 majority baseline (0.26, 0.26, and 0.53), although the models largely reproduce the supplied region. Supplying identity without location instead yields 0.74, 0.68, and 0.68. Every above-baseline gain in this curated set occurs where the supplied part category itself determines the action. A no-vision control leaves GPT-5's scores unchanged or improved, providing evidence consistent with substantial category-to-action association. GPT-4o mini declines on one condition, so this interpretation is not universal. Adding joint type and motion axis does not improve accuracy across six model-stratum comparisons. On 74 counterfactual pairs from 32 objects, GPT-5 achieves 0.86 pair-weighted compliance with a 0.07 shortcut rate but fails all observed push-to-lift-vertical cases. GroundBench identifies which supplied information changes affordance behavior and tests whether apparently grounded performance can be reproduced through textual shortcuts.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI