日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.04419

視覚言語モデルにおける文脈依存アフォーダンス計算

Context-Dependent Affordance Computation in Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルが場面の文脈(エージェントの役割など)に応じて物体のアフォーダンス記述を大きく変化させる現象を定量化し、その変化が生成ノイズではなく安定した潜在因子に基づくことを示した。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)における文脈依存のアフォーダンス計算を特徴づける研究。 - 主研究はQwen3-VL-30B-A3Bを使用し、COCO-2017から479画像×7エージェントペルソナの3,213シーン文脈ペアを分析。 - LLaVA-1.5-13Bで再現実験も実施。 - 文脈条件間の平均Jaccard類似度0.095(95% CI [0.092, 0.097])で、90%以上の語彙的シーン記述が文脈依存であることを示す。 - 文レベルのコサイン類似度もドリフトを確認(平均0.415、58.5%が文脈依存)。 - 確率的ベースライン実験で生成ノイズでないことを確認。 - Tucker分解により安定な直交潜在因子を発見。

2. 先行研究と比べてどこがすごい?

- 従来の静的アフォーダンス研究と異なり、VLMが文脈に応じて動的にアフォーダンスを計算することを定量的に示した。 - 語彙的類似度と意味的類似度のギャップ(90% vs 58.5%)を明らかにし、表層語彙が意味よりも文脈シフトの影響を受けやすいことを示唆。 - 確率的ベースライン実験により、観測されたドリフトが生成ノイズでないことを確認。 - Tucker分解で安定な潜在因子を抽出し、文脈依存の構造を明らかにした点が新しい。

3. 技術・手法の肝は?

- Qwen3-VL-30B-A3BとLLaVA-1.5-13Bを使用。 - COCO-2017から479画像を選び、7つのエージェントペルソナ(例: chef, child)で文脈条件を設定。 - 文脈条件間のJaccard類似度と文レベルのコサイン類似度を計算。 - 確率的ベースライン実験: 4温度×5シードで2,384回の推論を実行し、プライム内分散とプライム間分散を比較。 - Tucker分解とブートストラップ安定性分析(1,000回リサンプル)で潜在因子を抽出。

4. どうやって有効だと検証した?

- 平均Jaccard類似度0.095(95% CI [0.092, 0.097]、N=479画像、9,244プライムペア、p<0.0001)で文脈依存性を統計的に確認。 - LLaVA-1.5-13Bで再現(平均J=0.160、84%文脈依存)。 - 文レベルコサイン類似度(平均0.415、58.5%文脈依存)で意味レベルでも確認。 - 確率的ベースライン実験でプライム内分散がプライム間分散より有意に低いことを確認。 - Tucker分解のブートストラップ安定性分析で安定な因子を確認。

5. 議論はある?

- 語彙的(90%)と意味的(58.5%)のギャップは、文脈シフト下で表層語彙が意味よりも大きく変化することを示す。 - ロボティクスへの示唆: 静的世界モデルではなく、動的でクエリ依存のオントロジー投影(JIT Ontology)の方向性。 - 処理順序やアーキテクチャの優位性は主張しない。それには出力行動を超えた内部表現分析が必要。 - 限界: 出力行動のみの分析であり、内部メカニズムは不明。

6. 次に読むべき論文は?

- Qwen3-VL-30B-A3B (Qwen3-VL) - LLaVA-1.5-13B (LLaVA) - COCO-2017 - Tucker decomposition - JIT Ontology - 関連手法: アフォーダンス計算、視覚言語モデル、文脈依存性、潜在因子分析

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Murad Farzulla

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

We characterize the phenomenon of context-dependent affordance computation in vision-language models (VLMs). Our primary study uses Qwen3-VL-30B-A3B ($n = 3{,}213$ scene-context pairs from COCO-2017: 479 images under 7 agentic personas), with a cross-model replication on LLaVA-1.5-13B. We demonstrate substantial affordance drift: mean Jaccard similarity between context conditions is $0.095$ (95% CI $[0.092, 0.097]$ across $N = 479$ images; $9{,}244$ prime pairs; $p < 0.0001$), indicating that more than 90% of lexical scene description is context-dependent; the LLaVA replication reproduces the effect (mean $J = 0.160$, 84% context-dependent). Sentence-level cosine similarity confirms drift at the semantic level (mean $= 0.415$, 58.5% context-dependent). Stochastic baseline experiments ($2{,}384$ inference runs across 4 temperatures and 5 seeds) confirm this reflects genuine context effects rather than generation noise: within-prime variance is substantially lower than cross-prime variance across all conditions. Tucker decomposition with bootstrap stability analysis ($n = 1{,}000$ resamples) reveals stable orthogonal latent factors: a "Culinary Manifold" isolated to chef contexts and an "Access Axis" spanning child-mobility contrasts. The gap between lexical (90%) and semantic (58.5%) measures indicates that surface vocabulary changes more than underlying meaning under context shifts. These findings suggest a direction for robotics: dynamic, query-dependent ontological projection (JIT Ontology) rather than static world modeling. We do not claim to establish processing order or architectural primacy; such claims require internal representational analysis beyond output behavior.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI