日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚エージェント/空間推論arXiv:2606.12830

知覚・対話・推論:空間推論のためのツール拡張型視覚エージェントの構築

Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの空間推論能力を高めるため、知覚・対話ツールを備えたエージェントPERIAを提案し、マルチツール行動の学習手法とともにその有効性を実証した。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)の空間推論を強化するツール拡張型視覚エージェントPERIAを提案。 - 対象タスクはmap reasoning、visual probing、vision reconstruction。 - 2種の軽量ツール群を利用。 - vision perception tools: テキスト・記号・空間的証拠を露出。 - vision interaction tools: 視覚文脈の操作、経路追跡、空間関係の検証。 - 学習レシピはsupervised tool-use trajectory synthesis、composite rewards、OR-GIGPOを統合。

2. 先行研究と比べてどこがすごい?

- 従来のVLMは暗黙の視覚表現に依存し、能動的証拠獲得と多段階視覚対話を要する空間推論が苦手。 - PERIAはツール拡張により細粒度の空間証拠を回復可能に。 - PERIA-8BはQwen3-8B backbone比でin-distribution +10.0%、out-of-distribution +4.4%改善。 - 同規模の先行SOTAを7.0%–14.8%上回る。 - Qwen3-VL-235B-A22B-ThinkingやGPT-5など大規模モデルに匹敵する性能を達成。

3. 技術・手法の肝は?

- 2系統の軽量ツールをエージェントに統合。 - vision perception tools: テキスト・記号・空間証拠を抽出。 - vision interaction tools: 視覚文脈操作、経路追跡、空間関係検証。 - 学習レシピ: supervised tool-use trajectory synthesis、composite rewards、Observation-Relaxed Group-in-Group Policy Optimization (OR-GIGPO)。 - OR-GIGPOによりマルチツール行動を効果的に最適化。

4. どうやって有効だと検証した?

- 8データセット・13ベンチマークで評価。 - PERIA-8BはQwen3-8B backbone比でin-distribution +10.0%、out-of-distribution +4.4%。 - 同規模の先行SOTAを7.0%–14.8%上回る。 - Qwen3-VL-235B-A22B-ThinkingやGPT-5と同等の性能を達成。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、ツール設計の一般性、計算コスト、OR-GIGPOの詳細な議論は記述されていない。

6. 次に読むべき論文は?

- Qwen3-8B (backbone) - Qwen3-VL-235B-A22B-Thinking - GPT-5 - 関連手法: vision-language models (VLMs)、tool-augmented visual agents、Group-in-Group Policy Optimization (GIGPO) 系の強化学習手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changye Li, Meng Lu, Yi Wu, Ligeng Zhu

分類: cs.CV, cs.AI

原文アブストラクト

While recent vision-language models (VLMs) demonstrate strong multimodal understanding, they remain limited in spatial reasoning tasks that require active evidence acquisition and multi-step visual interaction. This limitation suggests that relying solely on implicit visual representations from vision encoders is insufficient for recovering fine-grained spatial evidence. We introduce PERception-Interaction-reason Agent (PERIA), a tool-augmented visual agent for spatial reasoning tasks across map reasoning, visual probing, and vision reconstruction. PERIA uses two lightweight tool families: vision perception tools for exposing textual, symbolic, and spatial evidence, and vision interaction tools for manipulating visual context, tracing paths, and verifying spatial relations. To train PERIA, we develop a unified recipe that combines supervised tool-use trajectory synthesis, composite rewards, and Observation-Relaxed Group-in-Group Policy Optimization (OR-GIGPO) for effective multi-tool behavior. Experiments on 13 benchmarks from 8 datasets show that PERIA-8B improves over the Qwen3-8B backbone by 10.0% on in-distribution benchmarks and 4.4% on out-of-distribution benchmarks, while outperforming previous state-of-the-art baselines of similar size by 7.0%-14.8%. It also achieves performance comparable to much larger models such as Qwen3-VL-235B-A22B-Thinking and GPT-5, demonstrating the effectiveness of PERIA in enhancing spatial reasoning capabilities.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI