日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

GUI自動化arXiv:2509.22137

Log2Plan: タスクマイニングを統合した適応型GUI自動化フレームワーク

Log2Plan: An Adaptive GUI Automation Framework Integrated with Task Mining Approach

シェア:XThreadsFacebookLINEはてブBluesky

ユーザー行動ログからタスクをマイニングし、二段階の計画立案とリアルタイムGUI解釈を組み合わせることで、UI変化に強く長期的なタスクもこなせるGUI自動化フレームワークを提案した。

詳しい要約

1. どんなもの?

- GUI 自動化のための適応型フレームワーク - LLM/VLM ベースの planner-executor agent の課題に対処 - 二段階の構造化 planning と user behavior logs からの task mining を統合 - 高レベル plan を task dictionary へ写像し、低レベル action 列へ接地 - 実世界 200 タスクで評価

2. 先行研究と比べてどこがすごい?

- 既存の LLM/VLM ベース planner-executor agent との比較 - 既存手法は brittle generalization、高 latency、long-horizon coherence の制約 - single-shot reasoning や static plan 依存で UI 変化や複雑タスクに脆弱 - Log2Plan は構造化二段階 planning と task mining で頑健性・適応性を狙う - long-horizon でも 60.0% 超の成功率を維持

3. 技術・手法の肝は?

- 二段階の構造化 planning framework - 高レベル plan: user command を structured task dictionary へ写像 - task mining: user behavior logs から user 固有パターンを抽出し個人化・再利用 - 低レベル grounding: リアルタイム GUI context を解釈し action 列へ変換 - 異なる interface でも実行できるよう設計

4. どうやって有効だと検証した?

- 実世界 200 タスクで評価 - task success rate と execution time の改善を報告 - long-horizon task sequence でも 60.0% 超の success rate - 複数ステップの workflow における頑健性を示す - 具体的な比較対象や統計手法は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗要因の分析は明示されていない - latency や UI 変化への定量的な頑健性は要旨からは不明 - task mining の個人情報・log 依存性への議論は要旨からは不明

6. 次に読むべき論文は?

- 既存の LLM/VLM ベース planner-executor agent 関連研究 - GUI automation における planning 手法 - task mining を用いた user behavior log 分析 - long-horizon task の評価手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seoyoung Lee, Seonbin Yoon, Seongbeen Lee, Hyesoo Kim, Joo Yong Sim

分類: cs.AI, cs.HC, cs.MA, cs.RO

原文アブストラクト

GUI task automation streamlines repetitive tasks, but existing LLM or VLM-based planner-executor agents suffer from brittle generalization, high latency, and limited long-horizon coherence. Their reliance on single-shot reasoning or static plans makes them fragile under UI changes or complex tasks. Log2Plan addresses these limitations by combining a structured two-level planning framework with a task mining approach over user behavior logs, enabling robust and adaptable GUI automation. Log2Plan constructs high-level plans by mapping user commands to a structured task dictionary, enabling consistent and generalizable automation. To support personalization and reuse, it employs a task mining approach from user behavior logs that identifies user-specific patterns. These high-level plans are then grounded into low-level action sequences by interpreting real-time GUI context, ensuring robust execution across varying interfaces. We evaluated Log2Plan on 200 real-world tasks, demonstrating significant improvements in task success rate and execution time. Notably, it maintains over 60.0% success rate even on long-horizon task sequences, highlighting its robustness in complex, multi-step workflows.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI