日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.03430

ProAct: 構造認識型能動応答のためのベンチマークとマルチモーダルフレームワーク

ProAct: A Benchmark and Multimodal Framework for Structure-Aware Proactive Response

シェア:XThreadsFacebookLINEはてブBluesky

75タスク・91,581アノテーションからなる能動エージェント用ベンチマークProAct-75を構築し、タスクグラフとMLLMを活用したベースラインProAct-Helperを提案した。

詳しい要約

1. どんなもの?

- 能動的エージェントのためのベンチマークとマルチモーダルフレームワークの提案。 - ProAct-75: 支援、保守、安全監視を含む75タスク、91,581ステップ注釈、明示的なタスクグラフ付き。 - ProAct-Helper: MLLMを基盤とし、状態検出とタスクグラフを利用したエントロピー駆動ヒューリスティック探索で行動選択を行うベースライン。

2. 先行研究と比べてどこがすごい?

- 従来は能動的エージェント開発のための専用リソースが不足していた。 - ProAct-75は多様なドメインにわたる大規模ベンチマークを提供し、タスクグラフで構造的基盤を付与。 - ProAct-Helperは強力な閉源モデルを上回り、トリガー検出mF1を6.21%改善、オンライン1ステップ決定で0.25ステップ節約、並列行動率を15.58%向上。

3. 技術・手法の肝は?

- MLLMを活用し、状態検出に基づく意思決定を行う。 - タスクグラフを利用してエントロピー駆動ヒューリスティック探索を実行し、行動を選択。 - 人間の次のステップを模倣するのではなく、並列スレッドを独立に実行可能。

4. どうやって有効だと検証した?

- 広範な実験により、ProAct-Helperが強力な閉源モデルを上回ることを示した。 - 具体的にはトリガー検出mF1の6.21%改善、オンライン1ステップ決定での0.25ステップ節約、並列行動率の15.58%向上を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。同分野の定番として、Multimodal Large Language Model (MLLM) や proactive agents に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

分類: cs.RO

原文アブストラクト

While passive agents merely follow instructions, proactive agents align with higher-level objectives, such as assistance and safety by continuously monitoring the environment to determine when and how to act. However, developing proactive agents is hindered by the lack of specialized resources. To address this, we introduce ProAct-75, a benchmark designed to train and evaluate proactive agents across diverse domains, including assistance, maintenance, and safety monitoring. Spanning 75 tasks, our dataset features 91,581 step-level annotations enriched with explicit task graphs. These graphs encode step dependencies and parallel execution possibilities, providing the structural grounding necessary for complex decision-making. Building on this benchmark, we propose ProAct-Helper, a reference baseline powered by a Multimodal Large Language Model (MLLM) that grounds decision-making in state detection, and leveraging task graphs to enable entropy-driven heuristic search for action selection, allowing agents to execute parallel threads independently rather than mirroring the human's next step. Extensive experiments demonstrate that ProAct-Helper outperforms strong closed-source models, improving trigger detection mF1 by 6.21%, saving 0.25 more steps in online one-step decision, and increasing the rate of parallel actions by 15.58%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI