日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.10803

APIを超えて:物理的な道具使用におけるMLLMの限界を探る

Beyond APIs: Probing the Limits of MLLMs in Physical Tool Use

シェア:XThreadsFacebookLINEはてブBluesky

物理的な道具使用を評価する初のベンチマークPhysTool-Benchを導入し、13の主要なMLLMが実世界のシーンで道具の認識と使用計画に苦戦することを示した。

詳しい要約

1. どんなもの?

- 本論文は、MLLMsの物理ツール使用能力を評価する初のベンチマークPhysTool-Benchを提案する。 - 実世界の2,678の物理ツールを含む2,510クエリで構成され、製造・電気・農業・医療など多様な領域をカバーする。 - 評価は、シーン内の全ツールの認識と、指示と視覚的文脈に基づくツール選択・使用順序の計画の2次元で行う。 - 13の主要MLLMsを評価し、最強のGemini-3.1-Proでもツール認識率58.7%、エンドツーエンド完了率21.0%に留まる。

2. 先行研究と比べてどこがすごい?

- 従来のMLLMs評価はデジタルAPI利用やembodied AIの指示生成が中心で、物理ツール使用能力は未探索だった。 - 本論文は物理ツール使用に特化した初のベンチマークを提供し、実世界の多様なツールとクエリで評価する点が新しい。 - 既存研究と直接比較した記述は要旨からは不明。

3. 技術・手法の肝は?

- PhysTool-Benchは2,510クエリと2,678の実世界物理ツールを収集し、製造・電気・農業・医療など多領域を網羅する。 - 評価は2次元:1) シーン内の全物理ツールの認識、2) 指示と視覚的文脈に基づくツール選択と使用順序の計画。 - 13の主要MLLMsを対象に、ツール認識率とエンドツーエンド完了率を測定する。

4. どうやって有効だと検証した?

- 13の主要MLLMsをPhysTool-Benchで評価し、最強のGemini-3.1-Proでもツール認識率58.7%、エンドツーエンド完了率21.0%であることを示した。 - 分析により、MLLMsは現実的シーンでのツール知覚が苦手で、計画段階でさらに大きな性能低下が生じることを明らかにした。 - この二段階の欠陥が、実用的embodied AI開発の重大なボトルネックであると指摘する。

5. 議論はある?

- MLLMsは物理ツールの知覚と、知覚したツールをタスク意味論にマッピングする機能的常識の両方で不足がある。 - 特に計画段階での性能低下が大きく、実世界タスク支援にはこの機能的常識の欠如が深刻な障壁となる。 - 具体的な議論や限界、今後の課題についての詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、embodied AI、MLLMs、tool-use benchmarks、API利用評価などが挙げられるが、具体的な論文名は要旨からは不明。 - 同分野の定番として、embodied AIやMLLMsのベンチマーク研究を参照することが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhixin Ma, Yutong Zhou, Yongqi Li, Chong-Wah Ngo, Wenjie Li

分類: cs.CL, cs.AI, cs.CV

原文アブストラクト

Multimodal Large Language Models (MLLMs) excel at utilizing digital APIs and increasingly serve as the "brain" of embodied AI, instructing robots to interact with the physical world. In such embodied settings, a central capability is the use of physical tools, which underpins MLLMs' ability to assist humans in real-world tasks. Despite the importance, MLLMs' proficiency in physical tool use remains largely unexplored. To address this gap, we introduce PhysTool-Bench, the first physical tool-use benchmark designed to evaluate MLLMs' ability to comprehend real-world scenarios, identify physical tools, and plan their use. PhysTool-Bench comprises 2,510 queries over 2,678 real-world physical tools spanning diverse domains, including manufacturing, electrical work, agriculture, and healthcare. Concretely, models are evaluated along two primary dimensions: 1) recognizing all physical tools present in the scene, and 2) planning the tool selection and use sequence based on the instruction and visual context. Across 13 leading MLLMs, even the strongest model (Gemini-3.1-Pro) identifies only 58.7% of tools in a scene and completes merely 21.0% of queries end-to-end. Our analysis reveals a two-level deficit: MLLMs struggle to perceive tools in realistic scenes, and the much larger drop at the planning stage further indicates a lack of functional commonsense for mapping perceived tools onto task semantics, pinpointing a critical bottleneck for the development of practical embodied AI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI