日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

空間推論arXiv:2606.13673

SpatialClaw:エージェント的空間推論のためのアクションインターフェース再考

SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルによる空間推論を強化するため、コードをアクションインターフェースとして用いる訓練不要のフレームワークSpatialClawを提案。状態を持つPythonカーネル上で柔軟に知覚・幾何プリミティブを組み合わせ、中間結果に応じて分析を適応させる。

詳しい要約

1. どんなもの?

- VLM を用いた open-ended な 3D/4D spatial reasoning のための training-free フレームワーク。 - 行動インターフェースとして code を採用し、stateful な Python kernel 上で VLM-backed agent が 1 step ごとに executable cell を書く。 - 入力 frames と perception/geometry primitives を事前ロードし、中間の text/visual 観測に応じて解析を適応させる。

2. 先行研究と比べてどこがすごい?

- 既存の spatial agent は single-pass code execution か structured tool-call interface に依存し、柔軟性が限られる。 - single-pass は中間結果を見る前に解析戦略を確定してしまう。 - structured tool-call は操作の自由な合成やタスクごとの調整が難しい。 - SpatialClaw は code を action interface にすることで、これらより柔軟な open-ended な空間推論を可能にする。

3. 技術・手法の肝は?

- code を action interface とし、VLM-backed agent が各 step で 1 つの executable cell を書く。 - stateful Python kernel に input frames と perception/geometry primitives を事前ロード。 - すべての prior outputs を条件として次の cell を生成し、perception 結果を柔軟に合成・操作。 - 中間の text および visual observations と各問題の要求に応じて解析を適応。 - training-free で benchmark/model 固有の適応を行わない。

4. どうやって有効だと検証した?

- 静的・動的な 3D/4D spatial reasoning を含む 20 の spatial reasoning benchmarks で評価。 - 平均精度 59.9% を達成し、最近の spatial agent を +11.2 points 上回る。 - 2 つの model family にわたる 6 つの VLM backbones で一貫した改善を確認。 - benchmark/model 固有の適応なしで有効性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較されている recent spatial agent や、single-pass code execution 型・structured tool-call 型の spatial agent に関する研究。 - 同分野の定番として tool-augmented VLM agents、vision-language models (VLMs)、spatial reasoning benchmarks。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seokju Cho, Ryo Hachiuma, Abhishek Badki, Hang Su, Byung-Kwan Lee, Chan Hee Song, Sifei Liu, Subhashree Radhakrishnan, Seungryong Kim, Yu-Chiang Frank Wang, Min-Hung Chen

分類: cs.CV, cs.AI

原文アブストラクト

Spatial reasoning, the ability to determine where objects are, how they relate, and how they move in 3D, remains a fundamental challenge for vision-language models (VLMs). Tool-augmented agents attempt to address this by augmenting VLMs with specialist perception modules, yet their effectiveness is bounded by the action interface through which those tools are invoked. In this work, we study how the design of this interface shapes the agent's capacity for open-ended spatial reasoning. Existing spatial agents either employ single-pass code execution, which commits to a full analysis strategy before any intermediate result is observed, or rely on a structured tool-call interface that often offers less flexibility for freely composing operations or tailoring the analysis to each task. Both designs offer limited flexibility for open-ended, complex 3D/4D spatial reasoning. We therefore propose SpatialClaw, a training-free framework for spatial reasoning that adopts code as the action interface. SpatialClaw maintains a stateful Python kernel pre-loaded with input frames and a suite of perception and geometry primitives, letting a VLM-backed agent write one executable cell per step conditioned on all prior outputs, enabling the agent to flexibly compose and manipulate perception results and adapt its analysis to both intermediate text and visual observations and the demands of each problem. Evaluated across 20 spatial reasoning benchmarks spanning a broad range of static and dynamic 3D/4D spatial reasoning tasks, SpatialClaw achieves 59.9% average accuracy, outperforming the recent spatial agent by +11.2 points, with consistent gains across six VLM backbones from two model families without any benchmark- or model-specific adaptation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI