日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.29601

視覚エンコーダから言語モデルを解放する:小型言語モデルのための知覚インターフェースとしての意味直列化

Free the Language Model From the Vision Encoder: Semantic Serialization as a Perception Interface for Small Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚情報を言語モデルに入れず、知覚スタックの出力を決定に沿ったテキストに変換してテキスト専用LLMに回答させる手法を提案し、同規模のVLMより高い性能を示した。

詳しい要約

1. どんなもの?

視覚情報を言語モデルに入れず、凍結したperception stackで物体検出・測距し、決定に整合するテキストへdeterministic semantic serializerで変換、未改変のtext-only LLMが回答するembodied scene QA interfaceを研究。campus-robot benchmarkで評価。

2. 先行研究と比べてどこがすごい?

end-to-end VLMは言語モデル規模に視覚能力が縛られ、縮小で知覚と推論が共に劣化。提案法は7Bで0.7892 vs 0.7462、3Bで0.7673 vs 0.6913とzero-shot VLMを上回り、利得はparaphrase後も残る。

3. 技術・手法の肝は?

frozen perception stackが物体検出・測距し、誤りも含む知覚状態をdeterministic semantic serializerがdecision-aligned textへコンパイル。unmodified text-only LLMが回答。各foldでin-domain fine-tuned detectorを使用。

4. どうやって有効だと検証した?

visible-scope-matched, occlusion-audited campus-robot benchmarkで、prospectively frozen criterionの下、zero-shot VLMと比較。preregistered decoupling experimentsでparaphrase後も利得が残り、answer-string leakageでないと確認。

5. 議論はある?

利得はreaderが1.5Bまで縮小で増大し0.5Bで逆転、ground-truth oracleがreader-capability floorを示す。matched task supervision下ではLoRA fine-tuned VLMがzero-shotを超えるが同等監督のtext readerと同等(0.8441 vs 0.8396、統計的有意差なし)。両経路ともperception-bound。perception parametersはVLMのvision towerと同程度、総computeは小さくない。

6. 次に読むべき論文は?

要旨で参照/比較されているzero-shot VLM、LoRA fine-tuned VLM、ground-truth oracle、text-only LLM、frozen perception stack、deterministic semantic serializer。同分野の定番としてembodied scene QA、vision-language models (VLMs)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cong Xu, Ravi Sankar

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

End-to-end vision-language models (VLMs) bind visual competence to the scale of their language model: as the language model shrinks, perception and reasoning degrade together. We study an embodied scene question-answering (QA) interface in which vision never enters the language model. A frozen perception stack detects and ranges objects; a deterministic semantic serializer compiles the perceived state, errors included, into decision-aligned text; an unmodified text-only large language model (LLM) answers. On a visible-scope-matched, occlusion-audited campus-robot benchmark, under a prospectively frozen criterion, the serialized interface, using detectors fine-tuned in-domain within each fold, outperforms a zero-shot VLM whose language model has the same 7B scale (0.7892 vs 0.7462), with a larger margin at 3B (0.7673 vs 0.6913). Preregistered decoupling experiments show the gain survives paraphrase, attributing it to decision-aligned computation rather than answer-string leakage, while novel judgment vocabularies bound its scope. The advantage grows as the reader shrinks to 1.5B and reverses at 0.5B, and a ground-truth oracle locates the reader-capability floor. Under matched task supervision the interfaces converge: a VLM fine-tuned with low-rank adaptation (LoRA) overtakes the zero-shot system but only ties an equally supervised text reader (0.8441 vs 0.8396, no statistically resolved difference), and both routes remain perception-bound. Reported perception parameters are comparable to those of the VLM's vision tower, and total compute is not smaller.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI