日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

計算機操作エージェントarXiv:2611.04073

チュートリアル条件付き計算機操作エージェントは世界モデルの恩恵をほとんど受けない

Computer-Use Agents Gain Little Benefit from a World Model When Conditioned on Tutorials

シェア:XThreadsFacebookLINEはてブBluesky

チュートリアルと世界モデルを組み合わせた計算機操作エージェントの各要素を分離評価し、チュートリアルがある場合には世界モデルのロールアウトがほとんど貢献せず、ボトルネックは将来状態の推論とタスク完了認識にあることを示した論文。

詳しい要約

1. どんなもの?

- computer-use agents (CUAs) の性能向上に寄与する要素を切り分けて評価する研究。 - タスク関連 tutorial を検索し、world model による look-ahead planning と MLLM judge を組み合わせる従来構成が対象。 - OSWorld-Tutorial と ScienceBoard-Tutorial という multimodal tutorial 付きデータセットを構築。 - RAG-PolicyJudge (RAG-PJ) を提案し、tutorial 条件下で world model の効果を分離評価。

2. 先行研究と比べてどこがすごい?

- 従来は tutorial・judge・world model をまとめて改善し、各要素の寄与を分離評価していなかった。 - 本研究は tutorial がある条件下で world model の有無を比較し、寄与を切り分ける点が新しい。 - 日常領域と科学領域の両方をカバーする tutorial 付きデータセットを新規構築した点も貢献。 - 結果として、tutorial 条件下では world model の利得が小さいことを示した。

3. 技術・手法の肝は?

- RAG-PJ は policy が候補 action を提案し、judge がその中から選択する枠組み。 - tutorial を検索・条件付けして policy と judge を動作させる。 - world model の効果を分離するため、next state の zero-shot テキスト記述、または ground-truth visual observations を返す oracle を用いて比較。 - これにより predicted rollouts の有無・忠実度の影響を切り分けて評価。

4. どうやって有効だと検証した?

- OSWorld-Tutorial と ScienceBoard-Tutorial の 2 データセットで RAG-PJ を評価。 - world model あり/なし、テキスト記述 rollout、oracle の ground-truth visual observations を比較。 - tutorial がある場合、これらの rollouts からの利得が小さいことを確認。 - error analysis により、ボトルネックが rollout の忠実度ではなく judge の future state 推論と task completion 認識にあると分析。

5. 議論はある?

- tutorial 条件下の従来の world-model 利得は、主に tutorial 理解と judge の action 選択能力に由来する可能性を示唆。 - 完全な visual future を与えても利得が小さい点から、next-state prediction の改善だけでは不十分と議論。 - judge が predicted rollouts を推論し、task completion を認識する能力の改善が必要と指摘。 - 要旨からは不明な点として、各データセットの規模や詳細な実験設定は限定的。

6. 次に読むべき論文は?

- 本研究で比較対象となる world model を用いた look-ahead planning と MLLM judge の先行手法。 - tutorial 検索を組み合わせる retrieval-augmented な CUA 手法。 - OSWorld や ScienceBoard など CUA 評価ベンチマーク。 - judge の future state 推論や task completion 認識を改善する推論手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anh Nguyen, Tianyi Xu, Phat Tran, Harry Yu, Huazheng Wang, Stefan Lee

分類: cs.LG

原文アブストラクト

Recent work has improved computer-use agents (CUAs) by combining retrieved task-relevant tutorials and look-ahead planning using world models with MLLM judges. However, the contribution of each component -- tutorials, the judge, and the world model -- to overall improvement has not been evaluated in isolation. To fill this gap, we first construct OSWorld-Tutorial and ScienceBoard-Tutorial: two datasets for CUAs with curated multimodal tutorials, covering everyday and scientific domains. We then propose RAG-PolicyJudge (RAG-PJ), a policy-judge framework for CUAs conditioned on task-specific tutorials: the policy proposes candidate actions, and the judge selects among them. To isolate the effect of world models given tutorials, we compare RAG-PJ with and without common world models: using either zero-shot text-based descriptions of next states or an oracle that returns ground-truth visual observations. We find that RAG-PJ gains little benefit from these rollouts when tutorials are present, even with perfect visual futures. This suggests prior world-model gains in tutorial-conditioned methods come mainly from tutorial understanding and the judge's ability to select the proposed actions, rather than from predicted rollouts. Error analysis reveals that the bottleneck is not rollout fidelity, but the judge's ability to reason over future states and recognize task completion. This highlights the need to improve not just next-state prediction in world models, but also reasoning over their predicted rollouts. Datasets and code are available at https://github.com/realjoenguyen/RAGPJ-official.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI