日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.05465

CanvasAgent: 視覚ツールのオーケストレーションによる複雑な画像生成・編集の実現

CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

シェア:XThreadsFacebookLINEはてブBluesky

複雑な画像生成・編集を、複数の視覚ツールを順次呼び出すマルチモーダルエージェントで実現する。大規模データセットと強化学習でツール選択を学習する。

詳しい要約

1. どんなもの?

本論文は、複雑な画像生成・編集タスクを実行するためのツール拡張型マルチモーダルエージェントであるCanvasAgentと、その学習用大規模データセットCanvasCraftを提案する。ユーザーの要求は、画像合成、物体位置特定、領域分割、選択コンテンツの編集、中間アセットの合成、テキスト読み取り、最終結果の強調など、複数のツールを順次呼び出す必要がある。既存のマルチモーダルエージェントは知覚や検索に特化しており、画像生成の実行軌跡の大規模な教師データが不足している。CanvasCraftは140Kの完全注釈付き実行可能軌跡と10KのRLタスク仕様を含む。CanvasAgentはまずSFTで実行可能な推論・行動軌跡を学習し、その後GRPOとハイブリッド報酬(結果レベルとプロセスレベルの信号)で最適化される。ロールアウト中は中間結果を検査し、視覚アセットを追跡し、進化する視覚状態に応じてツール決定を適応させる。

2. 先行研究と比べてどこがすごい?

既存のマルチモーダルツール使用エージェントは主に知覚、検索、またはドメイン固有の編集に最適化されており、画像生成の実行可能な軌跡に対する大規模な教師データが不足している。また、従来の手法は単一の生成・編集モデルに依存することが多く、複雑なタスクを扱えなかった。CanvasAgentは、視覚ツールのオーケストレーションに焦点を当て、知覚から操作中心の視覚生成へとシフトする点が新しい。さらに、大規模なデータセットCanvasCraftを導入し、SFTとGRPOによる強化学習を組み合わせることで、複数ツールの協調を学習する点が先行研究と異なる。

3. 技術・手法の肝は?

手法の核は、視覚ツールをオーケストレーションするマルチモーダルエージェントの学習にある。具体的には、140Kの実行可能軌跡を含むCanvasCraftデータセットを構築し、SFTで初期の行動ポリシーを学習する。その後、GRPO(Group Relative Policy Optimization)を用いて、結果レベル(最終画像品質)とプロセスレベル(軌跡の妥当性)のハイブリッド報酬でポリシーを最適化する。ロールアウト中は、エージェントが中間結果を視覚的に検査し、アセットを追跡し、現在の視覚状態に基づいて次のツール呼び出しを決定する。これにより、動的な視覚状態への適応が可能になる。

4. どうやって有効だと検証した?

実験では、最終画像品質と軌跡行動の両方を評価した。CanvasAgentをCanvasCraftデータセットで学習し、複雑なマルチツール画像生成ワークフローにおける有効性を実証した。具体的な評価指標や比較ベースラインは要旨からは不明だが、提案手法とデータセットの有効性が示されている。

5. 議論はある?

要旨からは、議論の余地として、データセットの規模や多様性、ツールの種類、エージェントの汎化能力、実世界の複雑な要求への対応などが考えられるが、具体的な議論は要旨に記載されていない。また、ハイブリッド報酬の設計やGRPOの適用に関する詳細な分析も不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究は、既存のマルチモーダルツール使用エージェント(知覚・検索・ドメイン特化編集)や、単一モデルによる画像生成・編集手法である。次に読むべき論文としては、これらの分野の代表的な研究(例:マルチモーダルエージェントのツール使用、視覚言語モデル、強化学習による最適化手法など)が挙げられるが、具体的なタイトルは要旨にないため、一般名で示す。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hairui Zhu, Yiying Yang, Tengjin Weng, Ziyu Lu, Xiao Yao, Xiaoyang Ye, Lin Ma, Wenhao Jiang

分類: cs.CV, cs.AI

原文アブストラクト

Complex image creation and editing often require more than a single generation or editing model. A user request may involve synthesizing images, localizing objects, segmenting regions, editing selected content, compositing intermediate assets, reading text, and enhancing the final result. Such tasks shift multimodal agents from perception-augmented reasoning to manipulation-centered visual creation, where tools must actively transform visual states rather than merely inspect them. However, existing multimodal tool-use agents are mostly optimized for perception, search, or domain-specific editing, and lack large-scale supervision for executable image-creation trajectories. In this paper, we introduce CanvasCraft, a large-scale multimodal tool-use dataset for complex image creation and editing, and \textbf{CanvasAgent}, a tool-augmented multimodal agent that learns to orchestrate heterogeneous visual tools through multi-turn interaction. CanvasCraft contains 140K fully annotated executable trajectories and 10K RL task specifications. CanvasAgent is first trained with SFT to learn executable reasoning-action trajectories, and is then optimized with GRPO using a hybrid reward that combines outcome- and process-level signals. During rollout, CanvasAgent inspects intermediate results, tracks visual assets, and adapts tool decisions to the evolving visual state. Experiments evaluate both final image quality and trajectory behavior, demonstrating the effectiveness of CanvasAgent and the proposed dataset for complex multi-tool image creation workflows.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI