日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

GUIエージェントarXiv:2604.02345

UI-Oceanus: 合成環境ダイナミクスによるGUIエージェントのスケーリング

UI-Oceanus: Scaling GUI Agents with Synthetic Environmental Dynamics

シェア:XThreadsFacebookLINEはてブBluesky

GUIエージェントの学習を高価な人間デモの模倣から環境フィードバックによる未来状態予測へと転換し、低コストな自律探索を生成的な教師信号に変換することでスケーラブルな世界モデルを構築した研究。

詳しい要約

1. どんなもの?

- GUI 操作を自動化する generalist GUI agents を、大規模に学習させるためのフレームワーク UI-Oceanus を提案する研究。 - 高価な human demonstrations や synthetic teacher supervision の限界を超えるため、高レベル trajectory の模倣ではなく、environmental feedback による interaction physics の習得に学習の焦点を移す。 - forward dynamics(将来の interface state の生成的予測)が scalability の主要因であることを示し、低コストな autonomous exploration を高密度な generative supervision に変換して internal world model を構築する。

2. 先行研究と比べてどこがすごい?

- 従来は human demonstrations のデータ scalability ボトルネックや synthetic teacher supervision の distillation ceiling が問題だった。 - 本研究は、forward dynamics が inverse inference を大きく上回り scalability を駆動することを系統的に示した点が新しい。 - 低コストな autonomous exploration を system execution で直接検証し、generative supervision に変換する点で先行研究と異なる。 - 結果として、CPT により offline benchmarks で平均 7%、real-world online navigation で 16.8% の成功率改善を達成し、synthetic data volume に応じて navigation performance がスケールすることを示した。

3. 技術・手法の肝は?

- forward dynamics を中核とし、future interface states を生成的予測する self-supervised objective を採用。 - 低コストな autonomous exploration を実行し、system execution による ground-truth environmental feedback で検証。 - 検証済みの探索データを高密度な generative supervision に変換し、internal world model を構築。 - Continual Pre-Training (CPT) を synthetic dynamics 上で行い、agent を forward predictive modeling に接地させる。

4. どうやって有効だと検証した?

- 一連のモデルに対する実験的評価を実施。 - synthetic dynamics で CPT したモデルは、非 CPT baseline より offline benchmarks で平均 7% 成功率が向上。 - real-world online navigation では 16.8% の改善を確認。 - navigation performance が synthetic data volume とともにスケールすることを観測。 - cross-domain adaptability と compositional generalization の頑健性も確認。

5. 議論はある?

- forward dynamics が scalability の主要因であり、inverse inference より有意に優位であると主張。 - forward predictive modeling への接地が、スケーラブルな GUI automation への優れた経路であると結論。 - ただし、具体的な限界や失敗事例、計算コスト、他の self-supervised objectives との詳細比較は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: human demonstrations を用いる GUI agent 研究、synthetic teacher supervision を用いる distillation 研究、inverse inference を用いる手法。 - 関連手法: forward dynamics、Continual Pre-Training (CPT)、internal world model、self-supervised learning。 - 同分野の定番: GUI automation、reinforcement learning、world model、generative supervision。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mengzhou Wu, Yuzhe Guo, Yuan Cao, Haochuan Lu, Songhe Zhu, Pingzhe Qu, Xin Chen, Kang Qin, Zhongpu Wang, Xiaode Zhang, Xinyi Wang, Wei Dai, Gang Cao, Yuetang Deng, Zhi Gong, Dezhi Ran, Linyi Li, Wei Yang, Tao Xie

分類: cs.LG, cs.AI

原文アブストラクト

Scaling generalist GUI agents is hindered by the data scalability bottleneck of expensive human demonstrations and the "distillation ceiling" of synthetic teacher supervision. To transcend these limitations, we propose UI-Oceanus, a framework that shifts the learning focus from mimicking high-level trajectories to mastering interaction physics via ground-truth environmental feedback. Through a systematic investigation of self-supervised objectives, we identify that forward dynamics, defined as the generative prediction of future interface states, acts as the primary driver for scalability and significantly outweighs inverse inference. UI-Oceanus leverages this insight by converting low-cost autonomous exploration, which is verified directly by system execution, into high-density generative supervision to construct a robust internal world model. Experimental evaluations across a series of models demonstrate the decisive superiority of our approach: models utilizing Continual Pre-Training (CPT) on synthetic dynamics outperform non-CPT baselines with an average success rate improvement of 7% on offline benchmarks, which amplifies to a 16.8% gain in real-world online navigation. Furthermore, we observe that navigation performance scales with synthetic data volume. These results confirm that grounding agents in forward predictive modeling offers a superior pathway to scalable GUI automation with robust cross-domain adaptability and compositional generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI