日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.18836

Plan-Bench:既存VLMは身体性世界での推論と計画にどこまで対応できるか

Plan-Bench: Can Existing VLMs Go Well Beyond Perception to Reason and Plan in Embodied Worlds?

シェア:XThreadsFacebookLINEはてブBluesky

身体性AIの高レベルプランナーとしてのVLMの推論・多段階計画能力を、行動実行の影響を切り離して評価するベンチマークPlan-Benchを提案し、28モデルを評価した。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)の embodied AI における高レベル推論・多段階計画能力を評価するベンチマーク Plan-Bench を提案。 - 実行の影響を排除し、3つの相補的次元、16サブクラス、699サンプルで構成。 - 28のVLMを評価し、最高でも75.0%の精度にとどまることを示す。

2. 先行研究と比べてどこがすごい?

- 従来のVLM評価は視覚知覚や空間推論に偏り、実行を含む評価が多かった。 - Plan-Benchは実行を切り離し、純粋な高レベル推論と計画能力を測定する点が新しい。 - モデルスケーリングが能力向上に寄与することを示し、大規模モデルの計画者としての可能性を明らかにした。

3. 技術・手法の肝は?

- 3つの相補的次元(詳細は要旨からは不明)を設定し、16サブクラス・699サンプルをキュレーション。 - 実行を伴わない評価プロトコルで、VLMの推論・計画能力を軽量にプローブ。 - アブレーション研究により、モデル規模と計画能力の関係を分析。

4. どうやって有効だと検証した?

- 28のVLMをPlan-Benchで評価し、最高精度75.0%を確認。 - モデルスケーリングが能力を一般的に向上させることを発見。 - アブレーション研究で、大規模モデルが高レベル計画者としての潜在能力を増すことを示した。

5. 議論はある?

- 現行VLMは embodied 環境での推論・計画に改善の余地がある。 - モデルスケーリングは有効だが、依然として完全な信頼性には至らない。 - 実行を分離した評価の重要性を強調し、物理タスクの意思決定者としての可能性を議論。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、embodied AI の高レベルプランナーに関する研究や、VLM の空間推論・計画能力を評価するベンチマーク(例:EmbodiedBench, ALFRED など)が考えられるが、要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juntong Feng, Qingan Liu, Jingru Dong, Yue Zhu, Weiming Zheng, Yujie Cheng, Xinzhe Han, Shuai Hao, Yunzhi Zhuge, Haiwen Diao, Huchuan Lu

分類: cs.CV

原文アブストラクト

Vision-Language Models (VLMs) have achieved strong performance in visual perception and spatial reasoning, leading to growing interest in using them as high-level planners for embodied AI. However, physical tasks require models to integrate spatial information, reason over temporal states, and generate multi-step plans under various constraints, raising the question of whether current VLMs can reliably support such reasoning and planning independently of execution. We introduce Plan-Bench, a benchmark for evaluating the high-level reasoning and multi-step planning capabilities of VLMs relevant to embodied worlds, while isolating the influence of action execution. It covers three complementary dimensions, spanning 16 subclasses and 699 curated samples. Extensive evaluation of 28 VLMs reveals room for improvement, with even the strongest model achieving only 75.0% accuracy. We further find that model scaling generally improves these capabilities. Ablation studies also indicate larger models show increasing potential as high-level planners. Overall, Plan-Bench provides a lightweight probe for evaluating VLMs' reasoning and planning capabilities relevant to embodied environments and assessing their potential as decision makers for physical tasks. Our benchmark and code are available at https://github.com/MinneFeng/Plan-Bench.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI