日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.27703

SpatialCLI: 空間ツールで推論し、その後ツールなしで推論する学習

SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルに空間ツールを使った推論を教え、徐々にその能力を内部化させる3段階フレームワークを提案。ベンチマークで大幅な性能向上を実証した。

詳しい要約

1. どんなもの?

SpatialCLIは、Vision-Language Models (VLMs)が空間ツール(専門の視覚モデル)を使って推論し、その後ツールなしでも推論できるようにするフレームワーク。3段階(Call, Learn, Internalize)で、専門的な知覚能力をVLMに内部化する。また、局在化・セグメンテーション・深度・ポーズにわたる構成知覚のベンチマークSpatialCLI-Bench(516例)を導入。

2. 先行研究と比べてどこがすごい?

従来のVLMはタスク全体の推論はできるが視覚的詳細を見逃す。一方、専門の視覚モデルは詳細を捉えられるがタスクレベルの判断に変換できない。SpatialCLIはこの能力ミスマッチを埋める。ツール使用を学習し、その後内部化することで、ツールなしでも高い性能を維持する点が新しい。

3. 技術・手法の肝は?

手法の肝は3段階のパイプライン。1) Call: 専門の視覚モデルを空間ツールとしてVLMに公開。2) Learn: Cold-Start SFTとagentic RLでツール使用を改善。3) Internalize: 成功したツール使用軌跡を言語化し、専門知覚能力を内部化。

4. どうやって有効だと検証した?

MindCubeベンチマークで評価。Qwen3-VL-8B-Instructを29.3%から84.6%(ツール使用時)に向上。GPT-5.6 Sol(ツール使用時72.1%)を上回る。内部化後はツールなしで73.8%を維持。

5. 議論はある?

要旨からは不明。ただし、内部化後の性能がツール使用時より低い(84.6%→73.8%)ことから、ツールなしでは完全に能力を発揮できない可能性が示唆される。また、ベンチマークの規模や汎用性に関する議論は要旨にない。

6. 次に読むべき論文は?

要旨で参照されている研究は明示されていないが、関連手法としてCold-Start SFT、agentic RL、VLMのembodied agentsへの応用、専門視覚モデル(localization, segmentation, depth, pose)などが挙げられる。次に読むべきは、これらの基盤技術の論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Zhou, Zixuan Huang, Sunzhu Li, Zhuo Yang, Chen Zhang, Shunian Chen, Caijun Yan, Jianyao Xu, Shunyu Liu, Weijie Fu, Peiliang Li, Xiaozhi Chen, Yuxiang Cai

分類: cs.AI

原文アブストラクト

Vision-language models (VLMs) are increasingly used in embodied agents to interpret visual inputs, reason about spatial relationships, and make task-level decisions based on that reasoning. However, a fundamental capability mismatch remains: general VLMs can reason about the overall task but often miss the visual details that determine success, while specialist vision models can capture those details but cannot translate them into task-level decisions. In this work, we propose SpatialCLI, a framework that teaches VLMs to reason with spatial tools and progressively internalize the specialist perceptual capabilities they provide. SpatialCLI proceeds in three stages: (1) Call exposes specialist vision models as spatial tools to augment the VLM's perception; (2) Learn uses Cold-Start SFT and agentic RL to improve tool use; and (3) Internalize verbalizes successful tool-use trajectories to internalize specialist perceptual capabilities. We further introduce SpatialCLI-Bench, a 516-example benchmark for compositional perception across localization, segmentation, depth, and pose. On MindCube, SpatialCLI raises Qwen3-VL-8B-Instruct from 29.3% to 84.6% with tools, surpassing GPT-5.6 Sol with tools (72.1%), while retaining 73.8% without tools after internalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI