日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.23695

PhysAI-Bench:自律UAV物理AIにおけるLLMベースエージェント意思決定のベンチマーク

PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI

シェア:XThreadsFacebookLINEはてブBluesky

自律UAVミッションの対話ログから抽出した1万件超の意思決定インスタンスで、29の基盤モデルのエージェント的意思決定能力を評価するベンチマークを提案。

詳しい要約

1. どんなもの?

- どんなもの? - 自律 UAV を中心とした Physical AI における LLM ベースの agentic decision-making を評価する benchmark「PhysAI-Bench」 - 自律 UAV ミッションの会話 trace から自動抽出した 10,178 件の標準化された decision instance を含む - 各 instance は mission context、temporal dependency、物理制約、MCP tool call、A2A interaction、sensor observation、AI-native 6G network 条件(latency、packet loss、throughput、edge load、network slicing)を保持 - 各 decision より前の情報のみを提示し、future-event leakage を防ぎ online decision-making に近づける - 29 の foundation model を評価

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存 benchmark は physical perception、intuitive physics、embodied navigation、collaborative reasoning を評価するが、信頼性の高い自律性に必要な agentic decision-making をほとんど評価しない - PhysAI-Bench は UAV ミッション由来の decision instance で agentic decision-making を直接評価 - mission context、temporal dependency、物理制約、MCP tool call、A2A interaction、sensor observation、6G network 条件を統合的に含む点が特徴 - 各 decision より前の情報のみを提示し future-event leakage を防ぐ設計

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 自律 UAV ミッションの会話 trace から 10,178 件の decision instance を自動抽出 - 各 instance で mission context、temporal dependency、物理制約、MCP tool call、A2A interaction、sensor observation、AI-native 6G network 条件を保持 - 各 decision より前の情報のみを提示し、future-event leakage を防止 - 二段階 protocol で 29 foundation model を評価 - 第一段階では zero-, three-, five-shot prompting と 4 temperatures の 12 組合せから model 固有設定を選択し、35-instance の human-verified development set で 3 runs 実施 - 第二段階では選択設定を固定し、episode-disjoint な 500 insta…

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 29 foundation model を二段階 protocol で評価 - 第一段階: 12 組合せの prompting/temperature から model 固有設定を選択し、35-instance の human-verified development set で 3 runs 実施 - 第二段階: 選択設定を固定し、episode-disjoint な 500 instance で 3 runs 評価 - GPT-5.3 が最高 accuracy 52.00%、次いで GPT-5.2 49.40%、Grok 4.5 49.07% - few-shot prompting は一般に性能を改善、temperature の影響は限定的

5. 議論はある?

- 議論はある? - 結果は Physical AI における信頼性の高い agentic decision-making が未解決の課題であることを示す - 最高 accuracy でも 52.00% にとどまる - few-shot prompting は一般に性能を改善するが、temperature の影響は限定的 - その他の議論や限界は要旨からは不明

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている具体的な研究は明示されていない - 関連分野として physical perception、intuitive physics、embodied navigation、collaborative reasoning の benchmark 研究 - foundation model を用いた autonomous UAV 研究 - MCP tool call や A2A interaction を含む agentic decision-making 研究 - AI-native 6G network 条件下の Physical AI 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohamed Amine Ferrag, Merouane Debbah, Abderrahmane Lakas, Manu Perumkunnil, Norbert Tihanyi

分類: cs.AI

原文アブストラクト

Recent advances in Physical AI have accelerated the use of foundation models in autonomous systems such as unmanned aerial vehicles (UAVs), which must perceive, reason, plan, and act in dynamic environments. Existing benchmarks assess physical perception, intuitive physics, embodied navigation, and collaborative reasoning, but rarely evaluate the agentic decision-making required for reliable autonomy. We introduce \textit{PhysAI-Bench}, a benchmark for evaluating this capability. It contains 10,178 standardized decision instances automatically extracted from conversational traces of autonomous UAV missions. Each instance preserves mission context, temporal dependencies, physical constraints, Model Context Protocol (MCP) tool calls, Agent-to-Agent (A2A) interactions, sensor observations, and AI-native 6G network conditions, including latency, packet loss, throughput, edge load, and network slicing. We expose only information preceding each decision, preventing future-event leakage and approximating online decision-making. We evaluate 29 foundation models using a two-stage protocol. We select model-specific configurations from 12 combinations of zero-, three-, and five-shot prompting and four temperatures, tested in three runs on a 35-instance, human-verified development set. We then freeze each selected configuration and evaluate it in three runs on a fixed, episode-disjoint set of 500 instances. GPT-5.3 achieves the highest accuracy (52.00%), followed by GPT-5.2 (49.40%) and Grok~4.5 (49.07%). Few-shot prompting generally improves performance, while temperature has limited influence. The results demonstrate that reliable agentic decision-making in Physical AI remains an open challenge. The dataset is available at https://github.com/maferrag/physai-bench

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI