日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLM/シーン理解arXiv:2603.26589

画像とテキストから学ぶ限界:視覚言語モデルと身体化されたシーン理解

The Limits of Learning from Pictures and Text: Vision-Language Models and Embodied Scene Understanding

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)が人間のシーン理解をどの程度捉えられるかを、15種類のタスクで人間の回答と比較し、特にアフォーダンス(行為可能性)の理解に構造的な欠陥があることを示した論文。

詳しい要約

1. どんなもの?

- 視覚と言語の共起から人間の場面理解を学習できるかを検証する研究。 - Vision-Language Models (VLMs) 18種と2000人超の人間の記述を15の高レベル場面理解タスクで比較。 - タスクは一般知識、affordances、感覚経験、情動反応、未来予測を含む。 - 正解が無いタスクのため Human-Calibrated Cosine Distance (HCD) を開発。 - 結果として一般知識では人間並みだがaffordanceで一貫した欠損を示す。

2. 先行研究と比べてどこがすごい?

- 従来のVLMs評価は主に画像キャプションやVQAなど限定的タスク。 - 本研究は15の高レベル場面理解タスクで人間分布と直接比較。 - 正解が無いタスクに対応するHCD指標を新規導入。 - affordance欠損がprompt engineeringや新モデルでも解消しないことを示す。 - 分布仮説の限界を実証的に示した点が新しい。

3. 技術・手法の肝は?

- 18のVLMsに記述を生成させ、2000人超の人間記述と比較。 - HCDはVLM出力と人間応答分布のコサイン距離を人間内変動でスケール。 - Experiment 1で一般知識とaffordanceの差を検証。 - Experiment 2でaffordanceギャップの6つの機構仮説を検証。 - 画像キャプションコーパスの言語分析も実施。

4. どうやって有効だと検証した?

- 15タスクでVLMsと人間の記述をHCDで定量比較。 - Experiment 1で一般知識は人間レベル、affordanceは有意に低い。 - prompt engineeringや新モデルでもaffordance欠損が持続。 - Experiment 2で欠損が構造的で空間情報提供でも解消しないと確認。 - コーパス分析でaffordance言語の希薄さを確認。

5. 議論はある?

- affordance欠損は構造的でスタイルの問題ではない。 - 明示的空间情報を与えても解消しない。 - 画像キャプションにはagent-addressed affordance言語が少ない。 - Gricean説明と整合し、身体的知識が言語で過小表現される可能性。 - 画像と言語からの分布学習だけではaffordance理解に不十分と示唆。

6. 次に読むべき論文は?

- Gricean accounts of language and communication - Distributional hypothesis - Vision-Language Models (VLMs) - Affordance-based scene understanding - Embodied cognition and agent-centered experience

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gillian Rosenberg, Skylar Stadhard, Bruce C. Hansen, Michelle R. Greene

分類: cs.CV

原文アブストラクト

What information is sufficient to learn the full richness of human scene understanding? The distributional hypothesis holds that the statistical co-occurrence of language and images captures the conceptual knowledge underlying visual cognition. Vision-language models (VLMs) are trained on massive paired text-image corpora but lack embodied experience, making them an ideal test of the distributional hypothesis. We report two experiments comparing descriptions generated by 18 VLMs to those of over 2000 human observers across 15 high-level scene understanding tasks, spanning general knowledge, affordances, sensory experiences, affective responses, and future prediction. Because many tasks lack ground truth answers, we developed a Human-Calibrated Cosine Distance (HCD) metric that measures VLM output similarity to the distribution of human responses, scaled by within-human variability. In Experiment 1, VLMs approached human-level performance on general knowledge tasks, but showed a robust deficit for affordance tasks that resisted prompt engineering and did not improve with newer model releases. In Experiment 2, we tested six mechanistic hypotheses for explaining this affordance gap, finding that the deficit was structural rather than stylistic and was not resolved by providing explicit spatial information. Corpus analyses revealed that image captioning datasets contain sparse agent-addressed affordance language, consistent with Gricean accounts of why embodied knowledge may be systematically underrepresented in language. Together, these findings suggest that distributional learning from images and text is insufficient for affordance-based scene understanding, implying that some dimensions of human visual cognition may require the kind of agent-centered, three-dimensional experience that no photograph or caption can encode.

  1. 1GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  2. 2パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  3. 3SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  4. 4日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI