日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLM/空間推論/動作計画arXiv:2603.13100

ロボット動作に対するVLMの空間推論能力の評価:動作嗜好を考慮したロボット計画への一歩

Evaluating VLMs' Spatial Reasoning Over Robot Motion: A Step Towards Robot Planning with Motion Preferences

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)がロボットの動作計画に必要な空間推論(物体との距離や経路スタイルなどの嗜好)をどの程度理解できるかを、4つの最新VLMと4つの質問方法で評価した。

詳しい要約

1. どんなもの?

- ロボットの動作計画において、ユーザ指示と物体の空間関係を理解するためにVision-Language Models (VLMs) の空間推論能力を評価する研究。 - 4つの最先端VLMを対象に、ロボット動作に関する空間推論を4種類のクエリ手法で評価。 - 動作選好として物体近接性と経路スタイルの2種類を評価。 - 精度と計算コスト(トークン数)のトレードオフも分析。

2. 先行研究と比べてどこがすごい?

- 従来、基盤モデルはタスク計画に適用されてきたが、動作に関するユーザ選好や制約(物体からの距離、トポロジー特性、動作スタイル)を強制するのに必要な空間推論能力の程度は不明だった。 - 本研究は、VLMの空間推論能力をロボット動作に特化して評価し、その可能性を示した点が新しい。 - 最高性能のクエリ手法でQwen2.5-VLがzero-shotで71.4%、ファインチューニング後の小規模モデルで75%の精度を達成し、GPT-4oはより低い性能だった。

3. 技術・手法の肝は?

- 4つの最先端VLM(Qwen2.5-VL、GPT-4oなど)を対象に、ロボット動作に関する空間推論を評価。 - 4種類の異なるクエリ手法を用いて評価。 - 動作選好として物体近接性と経路スタイルの2種類を評価。 - 精度と計算コスト(トークン数)のトレードオフを分析。

4. どうやって有効だと検証した?

- 4つの最先端VLMに対して、4種類のクエリ手法で空間推論を評価。 - 最高性能のクエリ手法でQwen2.5-VLがzero-shotで71.4%、ファインチューニング後の小規模モデルで75%の精度を達成。 - GPT-4oはより低い性能だった。 - 物体近接性と経路スタイルの2種類の動作選好を評価。

5. 議論はある?

- 精度と計算コスト(トークン数)のトレードオフを分析。 - VLMとロボット動作計画パイプラインの統合の可能性に一定の有望性を示す。 - ただし、具体的な議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Qwen2.5-VL、GPT-4o。 - 関連手法:Vision-Language Models (VLMs)、robot motion planning、task planning。 - 同分野の定番:Robot Planning with Motion Preferences、Spatial Reasoning for Robotics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenxi Wu, Jingjing Zhang, Martim Brandão

分類: cs.RO, cs.AI

原文アブストラクト

Understanding user instructions and object spatial relations in surrounding environments is crucial for intelligent robot systems to assist humans in various tasks. The natural language and spatial reasoning capabilities of Vision-Language Models (VLMs) have the potential to enhance the generalization of robot planners on new tasks, objects, and motion specifications. While foundation models have been applied to task planning, it is still unclear the degree to which they have the capability of spatial reasoning required to enforce user preferences or constraints on motion, such as desired distances from objects, topological properties, or motion style preferences. In this paper, we evaluate the capability of four state-of-the-art VLMs at spatial reasoning over robot motion, using four different querying methods. Our results show that, with the highest-performing querying method, Qwen2.5-VL achieves 71.4% accuracy zero-shot and 75% on a smaller model after fine-tuning, and GPT-4o leads to lower performance. We evaluate two types of motion preferences (object-proximity and path-style), and we also analyze the trade-off between accuracy and computation cost in number of tokens. This work shows some promise in the potential of VLM integration with robot motion planning pipelines.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI