日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2605.11534

PRISM: シミュレーション環境における意図を伴う計画と推論

PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments

シェア:XThreadsFacebookLINEはてブBluesky

LLMベースの身体性エージェントの失敗原因を、知覚・推論・長期計画のどの能力に起因するかを診断するベンチマークPRISMを提案した論文。

詳しい要約

1. どんなもの?

- LLM-based embodied agent の失敗原因を診断する benchmark - 5つの photorealistic multi-room apartments(各4--8部屋)上に構築 - 300件の human-verified タスクを3階層に分類 - Basic Ability:perception-to-action grounding - Reasoning Ability:implicit intent resolution - Long-horizon Ability:sustained multi-step coordination - agent-agnostic な executable action API を提供 - LLM agents, VLM agents, symbolic planners, RL policies, hybrid systems を同一 protocol で評価可能 - perception, memory, planning の optional probes を採用・置換・省略可能

2. 先行研究と比べてどこがすごい?

- 既存 benchmark は単一の success rate のみを報告 - どの cognitive module が失敗の原因か特定できない問題を指摘 - PRISM は『成功したか?』ではなく『どの capability が失敗の原因か?』を問う - 3つの capability tier で失敗要因を分離 - agent 種別を問わない共通 protocol を提供 - optional probes により component-level の制御された分析が可能

3. 技術・手法の肝は?

- 5つの photorealistic multi-room apartments(4--8部屋)を環境として使用 - 300件の human-verified タスクを3階層に構造化 - Basic Ability:perception-to-action grounding を分離 - Reasoning Ability:implicit intent resolution を分離 - Long-horizon Ability:sustained multi-step coordination を分離 - agent-agnostic な executable action API を公開 - LLM/VLM agents, symbolic planners, RL policies, hybrid systems を end-to-end 評価 - perception, memory, planning の optional probes を採用・置換・省略可能

4. どうやって有効だと検証した?

- 7つの contemporary LLMs で実験 - 明示的な spatial grounding は oracle perception 下では主要な失敗源ではないことを示す - implicit intent resolution が全 model family にとって significant bottleneck であることを示す - long-horizon coordination で capability cliff を観測 - lightweight models は success が最低 20.0% まで低下 - 同時に frontier counterparts より多くの tokens を消費 - compensatory over-reasoning の signature と解釈

5. 議論はある?

- 単一 success rate では cognitive module の責任を特定できないという問題提起 - 失敗原因を capability 単位で切り分ける診断的評価の必要性 - implicit intent resolution が全 model family の bottleneck である点 - long-horizon での capability cliff と token 消費増大 - genuine planning capability ではなく compensatory over-reasoning の可能性 - optional probes による component-level 分析の位置づけ - 具体的な限界や反論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として LLM-based embodied agents, VLM agents, symbolic planners, RL policies, hybrid systems - 同分野の定番として embodied AI benchmarks(例:ALFRED, AI2-THOR 系)や LLM planning 研究 - 詳細は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunn Kang Lim, Pengzhan Sun, Ziyi Bai, Xun Xu, Angela Yao, Xulei Yang, Shijie Li

分類: cs.RO

原文アブストラクト

When an LLM-based embodied agent fails at a household task, the culprit could be misidentified objects, forgotten sub-goals, or poor action sequencing -- yet existing benchmarks report only a single success rate, making it impossible to tell which cognitive module is responsible. We present PRISM, a diagnostic benchmark that reframes this problem: rather than asking only \textit{did the agent succeed?}, PRISM asks \textit{which capability is most likely responsible for failure?} Built on five photorealistic multi-room apartments (4--8 rooms each), PRISM structures 300 human-verified tasks into three capability tiers -- \textit{Basic Ability}, \textit{Reasoning Ability}, and \textit{Long-horizon Ability} -- that isolate perception-to-action grounding, implicit intent resolution, and sustained multi-step coordination respectively. PRISM exposes an agent-agnostic executable action API that allows arbitrary agents: LLM agents, VLM agents, symbolic planners, RL policies, and hybrid systems, to be evaluated end-to-end under the same benchmark protocol. To support deeper diagnosis, optional probes for perception, memory, and planning can be adopted, replaced, or bypassed entirely, enabling controlled component-level analysis when desired. Experiments on seven contemporary LLMs establish a clear hierarchy: explicit spatial grounding is not the dominant failure source under oracle perception, implicit intent resolution is a significant bottleneck for all model families, and long-horizon coordination exposes a stark capability cliff -- lightweight models collapse to as low as 20.0\% success while simultaneously consuming more tokens than their frontier counterparts, a signature of compensatory over-reasoning rather than genuine planning capability. Project page: \href{https://sj-li.com/PROJ/PRISM}{link}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI