日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.07033

P³: 汎用性の高い身体性エージェントに向けて

$\mathcal{P}^3$: Toward Versatile Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

リアルタイム知覚と動的スケジューリングを統合し、ツールのフィードバックに依存せず多タスクを計画・実行する身体性エージェントの枠組みを提案し、能動的知覚のベンチマークATPを構築した。

詳しい要約

1. どんなもの?

- 物理環境と相互作用するembodied agentsのための統合フレームワーク$\mathcal{P}^3$を提案 - リアルタイムperceptionと動的schedulingを統合し、多様なタスクに対応する汎用embodied agentを目指す - 併せてActive Task Perception (ATP) benchmarkを構築し、VLMsの能動的なscene理解とtask proposal能力を定量評価 - codeとdataはGitHubで公開

2. 先行研究と比べてどこがすごい?

- 先行手法はtool feedbackに完全依存してscene変化やtask進捗を追跡し、real-time適応性の低さ・error蓄積・tool互換性の制約があった - 本研究はfeedback不要でtoolをplug & useでき、能動的にtask関連情報を環境から知覚する - multi-task schedulingはtask依存性や優先度衝突の難しさから未研究だったが、緊急taskの優先と依存性に基づく動的順序調整で対処 - ATP benchmarkにより能動的scene理解・task proposal能力を定量測定する枠組みを提供

3. 技術・手法の肝は?

- リアルタイムperceptionと動的schedulingを統合したunified framework - 環境からtask関連情報を能動的に知覚(active perception) - toolをfeedback要求なしにplug and utilizeする仕組み - 緊急taskを優先しつつ、依存性に基づきtask順序を動的に調整するmulti-task planning - ATP benchmarkでVLMsのactive scene understandingとtask proposalを測定

4. どうやって有効だと検証した?

- ATP benchmark上での評価により、複数のVLMsがactive taskを検出・提案できることを確認 - 実世界robot実験を実施し、benchmarkと実運用のギャップを埋めることを示す - 転移可能なgeneral-purpose embodied agentsが得られることを実証(詳細な指標は要旨からは不明)

5. 議論はある?

- 先行手法のtool feedback依存によるreal-time適応性・error蓄積・tool互換性の問題を議論 - multi-task schedulingにおけるtask依存性と優先度衝突の扱いを課題として提示 - 具体的な限界や失敗事例、定量的な議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として言及されるprior methods(tool feedback依存のembodied agents)の代表的研究 - VLMs(vision-language models)のactive perceptionに関する研究 - multi-task scheduling/task dependencyを扱うplanning研究 - ATP benchmarkに関連するembodied benchmark研究(個別論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shengli Zhou, Xiangchen Wang, Jinrui Zhang, Ruozai Tian, Jianzheng Huang, Rongtao Xu, Guanhua Chen, Feng Zheng

分類: cs.RO

原文アブストラクト

Embodied agents have demonstrated promising capabilities in interacting with physical environments. Yet, versatile embodied agents face three core bottlenecks: dynamic environmental perception, open tool access, and complex multi-task planning. Prior methods depend entirely on tool feedback to track scene changes and task progress, leading to poor real-time adaptability, error accumulation, and limited tool compatibility; multi-task scheduling is also understudied due to the difficulty of handling task dependencies and conflicting priorities. To address these limitations, we propose $\mathcal P^3$, a unified framework integrating real-time perception and dynamic scheduling, which perceives task-relevant information actively from the environment, plugs and utilizes tools without feedback requirements, and plans multi-task execution by prioritizing urgent tasks and dynamically adjusting task order based on dependencies. We additionally build the Active Task Perception (ATP) benchmark to quantitatively measure VLMs' capacity for active scene understanding and task proposal. Evaluations on the ATP benchmark verify that multiple VLMs can detect and propose active tasks, and comprehensive real-world robot experiments prove our method bridges the gap between benchmarks and practical deployment, yielding transferable general-purpose embodied agents. Code and data are available at https://github.com/fz-zsl/P3.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI