日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.00035

言語的文脈が視覚言語モデルの視覚表現を再コード化する

Linguistic Context Recodes Visual Representations in Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルにおいて、言語プロンプトが視覚表現を再コード化する仕組みを解明し、目標関連オブジェクトの参照表現と属性変調の因果的役割を実証した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language Models (VLMs) において、言語による目標指示が視覚表現を再コード化(recoding)する現象を調査した研究である。具体的には、自然言語プロンプトが与えられた際に、VLM内の視覚表現がどのように変調されるかを、2つの具体的なメカニズム(抽象的な参照表現と属性変調)を通して明らかにしている。従来の静的表現仮説に代わる、動的なクロスモーダル処理の証拠を提供する。

2. 先行研究と比べてどこがすごい?

先行研究では、VLMの視覚表現は静的な情報リポジトリとして扱われ、言語表現がそれを操作すると考えられてきた。本研究は、言語が視覚表現自体を再コード化するという動的な視点を提案し、その具体的なメカニズムを因果的に検証した点が新しい。特に、抽象的な参照表現が異なる物体やタスク、合成画像から自然画像へ一般化すること、および属性変調がモデルの予測に因果的に関与することを示した点が先行研究と比べて優れている。

3. 技術・手法の肝は?

手法の肝は、2つの現象を特定し、それらを因果的に検証するための介入法を用いた点である。第一に、自然言語プロンプト下で目標関連物体を表す抽象的な参照表現を特定し、それに対応するcontrastive steering vectorsを抽出して、モデル予測への因果的関与を示した。第二に、後期層が視覚表現内の目標関連属性を選択的に増幅する属性変調を発見し、その変調がモデルの応答分布を媒介することを因果介入によって実証した。

4. どうやって有効だと検証した?

有効性の検証は、複数のプロンプトと画像セットを用いて行われた。参照表現の一般化は、異なる物体、タスク文脈、合成画像から自然画像への転移で確認された。属性変調は様々なプロンプトで観察され、因果介入により応答分布への影響が確認された。具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

議論としては、本研究の結果がVLMのクロスモーダル処理の動的性質を支持する一方で、そのメカニズムの詳細(例えば、どの層でどのように変調が起こるか)や、他のタスクやモデルへの一般化可能性についてはさらなる検討が必要である。また、要旨からは、これらの現象がモデルの性能にどの程度寄与するか、また人間の視覚処理との対応関係についての議論は明示されていない。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連する分野として、VLMの内部表現の解釈可能性、cross-modal processing、causal interventionを用いたモデル解析に関する研究が挙げられる。具体的には、"Interpretability in Vision-Language Models"や"Causal Interventions in Neural Networks"などの一般的なトピックの論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Brian Song, Michael A. Lepori, Ellie Pavlick

分類: cs.AI, cs.CV

原文アブストラクト

Goal-directed visual processing is a hallmark of human visual intelligence, resulting in representations that support downstream tasks such as categorization or search. Though vision-language models (VLMs) are often faced with these same tasks, their ability to recode visual representations when presented with goal-directed language remains poorly characterized. Indeed, prior work largely treats visual representations in VLMs as static repositories of visual information that are manipulated by language representations. In the present work, we provide evidence for two concrete instances of language-induced recoding of visual representations. First, we identify an abstract reference representation that denotes which objects are goal-relevant under a natural language prompt. We extract contrastive steering vectors corresponding to this reference representation and demonstrate that they are causally implicated in model predictions. These reference representations are abstract in that they generalize to different objects, different task contexts, and even from synthetic to naturalistic images. Second, we demonstrate language-induced attribute modulation: later layers selectively amplify goal-relevant attributes in visual representations of objects. We demonstrate this phenomenon across a range of different prompts. Finally, we provide a causal intervention that demonstrates that attribute modulation mediates a VLM's response distribution. Together, our results support a more dynamic account of cross-modality processing in VLMs -- rather than vision tokens serving as static repositories of information, they are modulated to support queries articulated in language.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI