日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.09507

PhysToolBench:マルチモーダル大規模言語モデルの物理ツール理解を評価するベンチマーク

PhysToolBench: Benchmarking Physical Tool Understanding for MLLMs

シェア:XThreadsFacebookLINEはてブBluesky

MLLMが物理ツールをどれだけ理解しているかを評価する初のVQAベンチマークを構築し、32モデルを評価した結果、ツール理解に大きな欠陥があることを明らかにした。

詳しい要約

1. どんなもの?

- どんなもの? - MLLMs (Multimodal Large Language Models) の物理ツール理解を評価する初のベンチマーク PhysToolBench を提案。 - VQA (Visual Question Answering) 形式で 1,000 以上の image-text pair から構成。 - 3 つの難易度レベルで評価する。 - Tool Recognition: ツールの主要機能の認識。 - Tool Understanding: ツール動作の基本原理の把握。 - Tool Creation: 従来の選択肢がない場合に周囲の物体から新たなツールを作る課題。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 物理ツールの理解に特化した初のベンチマークである点を主張。 - 既存の MLLMs は embodied AI の high-level planning や VLA (Vision-Language-Action) モデルで活用されているが、物理ツール理解の実態は未定量だった。 - そのギャップを埋めるべく、認識・理解・作成の 3 段階の難易度で体系的に評価する枠組みを提供。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - VQA データセットとして 1,000 以上の image-text pair を構築。 - 難易度を 3 レベルに階層化。 - Tool Recognition: ツールの主要機能の認識を問う。 - Tool Understanding: 動作原理の理解を問う。 - Tool Creation: 周囲の物体から新たなツールを作る能力を問う。 - 評価対象は proprietary、open-source、specialized embodied、VLA の backbones を含む 32 の MLLMs。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 32 の MLLMs を対象に PhysToolBench で包括的に評価を実施。 - その結果、ツール理解に顕著な不足があることを明らかにした。 - さらに詳細な分析と予備的な解決策 (preliminary solutions) を提示。 - code と dataset は公開されている。

5. 議論はある?

- 議論はある? - 32 の MLLMs の評価からツール理解の重大な欠如を報告。 - 詳細な分析と予備的な解決策を提示しているが、具体的な議論の内容は要旨からは不明。 - 各難易度レベル間の性能差やモデル種別間の比較の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として VLA (Vision-Language-Action) モデル、embodied AI の high-level planning に関する研究。 - MLLMs のベンチマーク関連として VQA ベースの評価研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixin Zhang, Kanghao Chen, Xingwang Lin, Lutao Jiang, Xu Zheng, Yuanhuiyi Lyu, Litao Guo, Yinchuan Li, Ying-Cong Chen

分類: cs.CV, cs.RO

原文アブストラクト

The ability to use, understand, and create tools is a hallmark of human intelligence, enabling sophisticated interaction with the physical world. For any general-purpose intelligent agent to achieve true versatility, it must also master these fundamental skills. While modern Multimodal Large Language Models (MLLMs) leverage their extensive common knowledge for high-level planning in embodied AI and in downstream Vision-Language-Action (VLA) models, the extent of their true understanding of physical tools remains unquantified. To bridge this gap, we present PhysToolBench, the first benchmark dedicated to evaluating the comprehension of physical tools by MLLMs. Our benchmark is structured as a Visual Question Answering (VQA) dataset comprising over 1,000 image-text pairs. It assesses capabilities across three distinct difficulty levels: (1) Tool Recognition: Requiring the recognition of a tool's primary function. (2) Tool Understanding: Testing the ability to grasp the underlying principles of a tool's operation. (3) Tool Creation: Challenging the model to fashion a new tool from surrounding objects when conventional options are unavailable. Our comprehensive evaluation of 32 MLLMs-spanning proprietary, open-source, specialized embodied, and backbones in VLAs-reveals a significant deficiency in tool understanding. Furthermore, we provide an in-depth analysis and propose preliminary solutions. Code and dataset are publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI