日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセットarXiv:2603.24440

CUA-Suite: コンピュータ操作エージェント向け大規模人手注釈ビデオデモンストレーション

CUA-Suite: Massive Human-annotated Video Demonstrations for Computer-Use Agents

シェア:XThreadsFacebookLINEはてブBluesky

コンピュータ操作エージェントの学習に必要な連続ビデオデモを大規模に提供するデータセット群を構築し、約1万タスク・55時間の専門家ビデオと高密度注釈を公開した。

詳しい要約

1. どんなもの?

- 計算機操作エージェント(CUA)向けの大規模な人間注釈付き動画デモンストレーションのエコシステム - 中核は VideoCUA: 87種類のアプリケーションにわたる約10,000タスクの人間実演を、30 fpsの連続画面録画、カーソル軌跡、多層推論注釈付きで提供 - 合計約55時間、600万フレームの専門家動画 - 補完リソースとして UI-Vision(groundingとplanningのベンチマーク)と GroundCUA(56Kスクリーンショット、360万以上のUI要素注釈)を提供 - データとモデルは公開

2. 先行研究と比べてどこがすごい?

- 既存最大のオープンデータセット ScaleCUA は200万スクリーンショット(20時間未満の動画相当)に留まる - 従来はスパースなスクリーンショットが主流で、最終クリック座標のみを記録 - CUA-Suite は連続動画により人間操作の時間的ダイナミクス全体を保持し、既存エージェントフレームワークが必要とする形式へ可逆的に変換可能な情報のスーパーセットを形成 - 規模・連続性・注釈の密度で先行研究を大きく上回る

3. 技術・手法の肝は?

- 30 fpsの連続画面録画、kinematic cursor traces、多層推論注釈を組み合わせた専門家動画の収集 - スパースなクリック座標ではなく、時間的ダイナミクスを保持する連続ストリームを設計 - 既存フレームワークの要求形式へ可逆変換できるスーパーセット構造 - UI-Vision による grounding/planning 評価と GroundCUA による大規模 grounding データセットを併設

4. どうやって有効だと検証した?

- UI-Vision ベンチマークで評価を実施 - 現行の foundation action models が専門デスクトップアプリケーションで約60%のタスク失敗率を示すことを予備評価で確認 - 詳細な検証プロトコルや比較対象は要旨からは不明

5. 議論はある?

- 連続動画がスパースなスクリーンショットより重要という近年の主張を支持 - 現行モデルが専門デスクトップアプリで苦戦していることを示す - 豊富なマルチモーダルコーパスが generalist screen parsing、continuous spatial control、video-based reward modeling、visual world models などの研究方向を支援 - 限界や反論については要旨からは不明

6. 次に読むべき論文は?

- ScaleCUA(既存最大のオープンデータセットとして比較) - UI-Vision(本論文のベンチマーク) - GroundCUA(本論文のgroundingデータセット) - 関連する foundation action models や computer-use agents の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangru Jian, Shravan Nayak, Kevin Qinghong Lin, Aarash Feizi, Kaixin Li, Patrice Bechard, Spandana Gella, Sai Rajeswar

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Computer-use agents (CUAs) hold great promise for automating complex desktop workflows, yet progress toward general-purpose agents is bottlenecked by the scarcity of continuous, high-quality human demonstration videos. Recent work emphasizes that continuous video, not sparse screenshots, is the critical missing ingredient for scaling these agents. However, the largest existing open dataset, ScaleCUA, contains only 2 million screenshots, equating to less than 20 hours of video. To address this bottleneck, we introduce CUA-Suite, a large-scale ecosystem of expert video demonstrations and dense annotations for professional desktop computer-use agents. At its core is VideoCUA, which provides approximately 10,000 human-demonstrated tasks across 87 diverse applications with continuous 30 fps screen recordings, kinematic cursor traces, and multi-layerfed reasoning annotations, totaling approximately 55 hours and 6 million frames of expert video. Unlike sparse datasets that capture only final click coordinates, these continuous video streams preserve the full temporal dynamics of human interaction, forming a superset of information that can be losslessly transformed into the formats required by existing agent frameworks. CUA-Suite further provides two complementary resources: UI-Vision, a rigorous benchmark for evaluating grounding and planning capabilities in CUAs, and GroundCUA, a large-scale grounding dataset with 56K annotated screenshots and over 3.6 million UI element annotations. Preliminary evaluation reveals that current foundation action models struggle substantially with professional desktop applications (~60% task failure rate). Beyond evaluation, CUA-Suite's rich multimodal corpus supports emerging research directions including generalist screen parsing, continuous spatial control, video-based reward modeling, and visual world models. All data and models are publicly released.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI