日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

GUIエージェントarXiv:2607.12625

KnowAct-GUIClaw:深く理解し完璧に行動する、自己進化するメモリとスキルを備えたパーソナルGUIアシスタント

KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill

シェア:XThreadsFacebookLINEはてブBluesky

OpenClawのGUI操作と自己進化の欠陥を解決するため、Know-Route-Act-Reflectフレームワークを備えたKnowAct-GUIClawを提案し、クロスプラットフォームでのタスク自動化の効率と精度を向上させた。

詳しい要約

1. どんなもの?

KnowAct-GUIClawは、OpenClawのGUI操作不足と自己進化機構の欠如を解決するために提案された、パーソナルGUIアシスタントのためのフレームワークである。Know-Route-Act-Reflectという構成を持ち、ユーザーとの対話やタスク実行の経験を蓄積・活用して、タスク分解の精度やツール呼び出しの正確性を向上させる。ホストエージェントが長期的なタスク分解と割り当てを行い、プラグ可能なGUIサブエージェントが経験に基づくメモリシステムと自己進化するスキルライブラリを持つことで、クロスプラットフォーム対応と高速な実行を実現する。Android、iOS、HarmonyOS、Windowsを対象とした実験で、効率性、正確性、適応性の向上を示している。

2. 先行研究と比べてどこがすごい?

先行研究であるOpenClawは複雑なタスク自動化のためのエージェントフレームワークとして知られるが、クロスプラットフォームのGUI操作サポートが不十分で、自己進化の仕組みが未整備である。KnowAct-GUIClawは、これらの欠点を補うために、経験の蓄積と活用を直接実行精度と効率に結びつける「Know Deeply, Act Perfectly」パラダイムを導入した点が新しい。また、GUIサブエージェントをプラグ可能にし、メモリとスキルライブラリを自己進化させることで、クロスプラットフォーム移行をシームレスにし、継続的な学習による性能向上を実現している。

3. 技術・手法の肝は?

手法の核は、Know-Route-Act-Reflectフレームワークにある。Know段階では、ホストエージェントが蓄積された対話経験とタスク関連知識を用いて長期的なタスク分解と割り当てを行う。Act段階では、プラグ可能なGUIサブエージェントが、経験に基づくメモリシステムと自己進化するスキルライブラリを使用して実行する。特に、ユーザープロファイルとフィードバックを継続的に保存し、タスク分解とツール呼び出しの精度を向上させる。また、メモリとスキルは異なるベースモデル間で転移可能であり、モデル非依存の設計となっている。

4. どうやって有効だと検証した?

Android、iOS、HarmonyOS、Windowsの各プラットフォームで広範な実験を行い、効率性、正確性、クロスプラットフォーム適応性を評価した。特に、オープンソースのKimi-2.6モデルを用いたGUIClawは、長期的なタスクを含むMobileWorldベンチマークで64.1%の最高性能を達成し、Seed-2.0-ProやGPT-5.5などのクローズドソースのエージェントモデルを含むすべてのエージェントフレームワークを上回った。さらに、フレームワークがサポートする知識メモリと実行スキルは多様なベースモデルに転移可能であり、Kimi-2.6で8.5%の改善が見られた。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な問題についての議論は明示されていない。ただし、実験結果は特定のベンチマーク(MobileWorld)に基づいており、実世界の多様なシナリオでの汎用性についてはさらなる検証が必要かもしれない。また、自己進化するメモリとスキルライブラリの管理コストや、プライバシー保護の観点からの懸念も考えられるが、要旨では言及されていない。

6. 次に読むべき論文は?

要旨で参照されている先行研究はOpenClawであり、比較対象としてSeed-2.0-ProやGPT-5.5などのエージェントモデルが挙げられている。また、ベンチマークとしてMobileWorldが使用されている。次に読むべき論文としては、OpenClawの詳細な設計を説明した論文や、MobileWorldベンチマークを提案した論文が考えられる。また、GUIエージェントの自己進化やメモリ管理に関する関連研究も有用である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunxin Li, Jinchao Li, Shibo Su, Zhenran Xu, Chenrui Zhao, Tongshu Bian, Xiaoman Liang, Meishan Zhang, Baotian Hu, Min Zhang

分類: cs.CL, cs.CV

原文アブストラクト

OpenClaw has emerged as a leading agent framework for complex task automation, yet it faces insufficient cross-platform GUI interaction support and a well-built self-evolution mechanism. These flaws limit its adaptation to diverse device ecosystems and prevent performance improvements through continuous learning from execution experience. To resolve these issues, we propose the Know Deeply, Act Perfectly paradigm for personal assistants, which holds that accumulated user interaction and task-running experience directly improve execution accuracy and efficiency, unifying cognitive comprehension and operational execution. Based on this paradigm, we introduce KnowAct-GUIClaw, a novel Know-Route-Act-Reflect framework designed to address OpenClaw's GUI manipulation deficits and break through its cross-platform and recursive self-improvement constraints. First, the host agent leverages accumulated interaction experience and task-relevant knowledge for long-horizon task decomposition and allocation (Know). Second, a pluggable GUI subagent with an experience-attributable memory system (Know) and self-evolving skill library (Act), enabling seamless cross-platform migration and fast-path integration. Especially, this framework continuously stores user profiles and feedback to improve the accuracy of task decomposition and tool calls. Extensive experiments across Android, iOS, HarmonyOS and Windows show that KnowAct-GUIClaw achieves superior efficiency, accuracy and cross-platform adaptability. Especially, the GUIClaw with open-source Kimi-2.6 models achieves the best performance (64.1%) on the long-horizon MobileWorld benchmark, beating all agentical frameworks and closed-source agentical models, e.g., Seed-2.0-Pro and GPT-5.5. Additionally, the knowledgeable memory and execution skills supported by our framework are transferable across diverse base models, improving by 8.5% with Kimi-2.6.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI