日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.17049

IntentCUA: コンピュータ操作エージェントのための意図レベル表現によるスキル抽象化とマルチエージェント計画

IntentCUA: Learning Intent-level Representations for Skill Abstraction and Multi-Agent Planning in Computer-Use Agents

シェア:XThreadsFacebookLINEはてブBluesky

コンピュータ操作エージェント向けに、意図レベルの表現でスキルを抽象化し共有メモリ上で複数エージェントが協調するフレームワークを提案し、長期的タスクの成功率と効率を改善した。

詳しい要約

1. どんなもの?

- 計算機利用エージェント(Computer-Use Agents)のためのマルチエージェントフレームワーク「IntentCUA」を提案。 - 長期的なhorizonでの実行を安定化させるため、intent-aligned plan memoryを導入。 - Planner、Plan-Optimizer、Criticが共有メモリ上で協調し、raw interaction tracesをmulti-view intent representationsと再利用可能なskillsに抽象化。 - 実行時にはintent prototypesがsubgroup-aligned skillsを検索し、部分計画に注入することで冗長な再計画を削減し、エラー伝播を緩和。

2. 先行研究と比べてどこがすごい?

- 既存のRL-based plannersやtrajectory retrievalと比較して、ユーザ意図からのドリフトやルーチン部分問題の繰り返し解決を抑制。 - エンドツーエンド評価で74.83%のタスク成功率、Step Efficiency Ratio 0.91を達成し、RL-basedおよびtrajectory-centricベースラインを上回った。 - アブレーションにより、multi-view intent abstractionとshared plan memoryが実行安定性を向上させ、特に長期的タスクで協調マルチエージェントループが最大の利得をもたらすことを示した。

3. 技術・手法の肝は?

- 共有メモリ上でPlanner、Plan-Optimizer、Criticが協調するマルチエージェントループ。 - raw interaction tracesをmulti-view intent representationsと再利用可能なskillsに抽象化。 - intent prototypesがsubgroup-aligned skillsを検索し、部分計画に注入。 - これにより冗長な再計画を削減し、エラー伝播を緩和。

4. どうやって有効だと検証した?

- エンドツーエンド評価を実施し、タスク成功率74.83%、Step Efficiency Ratio 0.91を記録。 - RL-basedおよびtrajectory-centricベースラインと比較して優位性を確認。 - アブレーション研究により、multi-view intent abstractionとshared plan memoryの貢献、および協調マルチエージェントループの長期的タスクでの最大利得を検証。

5. 議論はある?

- システムレベルのintent abstractionとmemory-grounded coordinationが、大規模で動的な環境における信頼性と効率性の高いデスクトップ自動化の鍵であると主張。 - 具体的な限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:RL-based planners、trajectory retrieval、trajectory-centric baselines。 - 関連手法として、Computer-Use Agents、マルチエージェント計画、intent representation learning、plan memoryに関する研究が挙げられる。 - 同分野の定番として、Reinforcement Learning for planning、Trajectory Retrieval、Skill Abstractionの論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seoyoung Lee, Seobin Yoon, Seongbeen Lee, Yoojung Chun, Dayoung Park, Doyeon Kim, Joo Yong Sim

分類: cs.AI, cs.HC, cs.RO

原文アブストラクト

Computer-use agents operate over long horizons under noisy perception, multi-window contexts, evolving environment states. Existing approaches, from RL-based planners to trajectory retrieval, often drift from user intent and repeatedly solve routine subproblems, leading to error accumulation and inefficiency. We present IntentCUA, a multi-agent computer-use framework designed to stabilize long-horizon execution through intent-aligned plan memory. A Planner, Plan-Optimizer, and Critic coordinate over shared memory that abstracts raw interaction traces into multi-view intent representations and reusable skills. At runtime, intent prototypes retrieve subgroup-aligned skills and inject them into partial plans, reducing redundant re-planning and mitigating error propagation across desktop applications. In end-to-end evaluations, IntentCUA achieved a 74.83% task success rate with a Step Efficiency Ratio of 0.91, outperforming RL-based and trajectory-centric baselines. Ablations show that multi-view intent abstraction and shared plan memory jointly improve execution stability, with the cooperative multi-agent loop providing the largest gains on long-horizon tasks. These results highlight that system-level intent abstraction and memory-grounded coordination are key to reliable and efficient desktop automation in large, dynamic environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI