ソフトウェア操作エージェント2026/6/11arXiv:2606.13239

ComAct: COMをアクションとして捉える新パラダイムによるプロフェッショナルソフトウェア操作の再定義

ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm

GUI操作やAPIに頼らず、WindowsのCOMを統一的な実行抽象として用い、プロフェッショナルソフトウェア操作を決定論的なプログラム合成として扱う新パラダイムを提案。産業用CAD操作のベンチマークComCADBenchを導入し、自己修正エージェントComActorが高い性能を示した。

詳しい要約

1. どんなもの？

- プロフェッショナルソフトウェア操作のための新しいパラダイム「COM-as-Action」を提案。 - Component Object Model (COM) を統一的な実行可能抽象化として同定。 - ソフトウェア操作を逐次的な視覚制御ではなく、決定論的なプログラム合成として再定義。 - 産業用CADソフトウェアを操作するエージェント向けの初のベンチマーク「ComCADBench」を導入。 - 自己修正エージェント「ComActor」と大規模訓練プラットフォーム「ComForge」を開発。

2. 先行研究と比べてどこがすごい？

- 既存のGUIベースエージェントは脆弱な視覚的グラウンディングと長期的エラー蓄積に悩む。 - APIベースのアプローチは異種プロトコルやアクセス不能な商用インターフェースに苦戦。 - COMベースの実行はGUIベースと比べて即座に大きな性能向上をもたらす。 - 最先端のプロプライエタリモデルはGUIベースでほぼゼロ成功だが、COMベースでは大幅改善。 - ComActorはComCADBenchで最先端性能を達成し、ベースラインが崩壊する長期的タスクでも強い回復力を示す。

3. 技術・手法の肝は？

- COM-as-Actionパラダイム：COMを実行可能抽象化として利用し、ソフトウェア操作をプログラム合成として扱う。 - ComActor：自己修正エージェントで、漸進的な3段階フレームワークで訓練。 - ComForge：Windowsコンテナ内での大規模訓練のためのスケーラブルなプラットフォーム。 - 構文的正確性と幾何学的正確性のギャップを橋渡しするために開発。 - 具体的な3段階の詳細や訓練手法は要旨からは不明。

4. どうやって有効だと検証した？

- ComCADBenchでの広範な実験により、ComActorが最先端性能を達成することを示した。 - 長期的タスクにおいて、ベースラインが崩壊する中で強い回復力を発揮。 - 外部のCADベンチマークへの一般化も確認。 - GUIベースとCOMベースのパラダイムギャップを実験的に明らかにした。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある？

- 既存のGUIベースとAPIベースの限界を指摘し、COM-as-Actionの有効性を主張。 - 構文的正確性と幾何学的正確性の間の残存ギャップに言及。 - 長期的タスクにおけるベースラインの崩壊とComActorの回復力の対比。 - 外部CADベンチマークへの一般化可能性を示唆。 - 限界や今後の課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：GUI-based agents、API-based approaches、frontier proprietary models。 - 関連手法：Component Object Model (COM)、program synthesis、self-correcting agent。 - 同分野の定番：computer-use agents、CAD software manipulation、benchmarking for agents。 - 具体的な論文名は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxin Ai, Tao Hu, Xuemeng Yang, Shu Zou, Hairong Zhang, Daocheng Fu, Yu Yang, Hongbin Zhou, Nianchen Deng, Pinlong Cai, Zhongyuan Wang, Botian Shi, Kaipeng Zhang, Licheng Wen

分類: cs.SE, cs.AI, cs.CL, cs.CV

原文アブストラクト

Existing computer-use agents remain fundamentally limited in professional software manipulation: GUI-based agents suffer from fragile visual grounding and long-horizon error accumulation, while API-basedapproaches struggle with heterogeneous protocols and inaccessible commercial interfaces. In this work,we identify the Component Object Model (COM) as a unified executable abstraction, proposing COM-as-Action: a new paradigm that reframes professional software interaction as deterministic program synthesisrather than sequential visual control. To validate this paradigm in the most demanding environments, weintroduce ComCADBench, the first benchmark for agents operating real industrial CAD software. Ourexperiments reveal a substantial paradigm gap: frontier proprietary models achieve near-zero successunder GUI-based interaction, whereas COM-based execution yields substantial immediate gains. Tobridge the remaining gap between syntactic correctness and geometric accuracy, we develop ComActor, aself-correcting agent trained through a progressive three-stage framework, alongside ComForge, a scalableplatform for large-scale training in Windows containers. Extensive experiments show that ComActorachieves state-of-the-art performance on ComCADBench, with strong resilience in long-horizon taskswhere baselines collapse, and generalizes to external CAD benchmark.

arXivで原文を読む →arXiv概要ページ

← 論文一覧