日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像生成arXiv:2605.30248

GenClaw: コード駆動型エージェントによる画像生成

GenClaw: Code-Driven Agentic Image Generation

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントがコード(SVG等)で下書きを描き、画像生成モデルで仕上げる、人間の画家のような段階的・制御可能な画像生成手法を提案した論文。

詳しい要約

1. どんなもの?

- コード駆動のエージェント型画像生成パラダイム「GenClaw」を提案。 - エージェントが人間のアーティストのように「概念化→スケッチ→彩色」の段階を踏む。 - 検索と推論で概念的知識と文脈を構築し、コード(SVG, HTML, ThreeJS)で実行可能な視覚スケッチを描画。 - その後、画像生成モデルでテクスチャや素材、写実性を補完する。 - コードを制御可能な中間キャンバスとして、言語推論とピクセル合成を橋渡しする。

2. 先行研究と比べてどこがすごい?

- 既存のエージェントはブラックボックス画像モデルに依存し、プロンプト書き換えの反復サイクルに陥っていた。 - キャンバスを直接操作する仕組みがなく、LLMを「筆」として活用する可能性が未開拓だった。 - GenClawはコードを中間表現として導入し、画像生成をブラックボックスから段階的プロセスへと変革。 - これにより高い制御性と解釈性を持つ視覚生成システムへの一歩を提供する。

3. 技術・手法の肝は?

- エージェントがまず検索と推論を通じて概念的知識と文脈を構築。 - 次にコード(SVG, HTML, ThreeJS)を用いて実行可能な視覚スケッチをレンダリング。 - 最後に画像生成モデルでテクスチャ、素材、写実性を補完。 - コードが言語推論とピクセル合成を繋ぐ制御可能な中間キャンバスとして機能。 - プログラム的論理と生成的モデルの視覚表現力をシームレスに統合。

4. どうやって有効だと検証した?

- 要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、text-conditioned image generation models(例:Stable Diffusion, DALL-E)、multimodal agents、programmatic image synthesis(例:SVG, HTML, ThreeJSを用いた手法)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junyan Ye, Jun He, Zilong Huang, Dongzhi Jiang, Xuan Yang, Rui Chen, Weijia Li

分類: cs.CV

原文アブストラクト

Image generation models have evolved from text-conditioned pixel synthesis toward multimodal agents endowed with visual comprehension and tool invocation capabilities. Yet, existing agents remain at the mercy of underlying black-box image models. Their workflow is trapped in a repetitive cycle of prompt rewriting for generation refinement, leaving them with no mechanism to directly manipulate the canvas. In essence, the potential of LLMs to serve as a genuine "brush" for precise visual construction remains largely untapped. In this paper, we propose GenClaw, a code-driven agentic image generation paradigm that empowers the agent to create like a human artist: first conceptualizing, then sketching, and finally coloring. Specifically, the agent first constructs the conceptual knowledge and context through search and reasoning. It then utilizes code (e.g., SVG, HTML, ThreeJS) to render executable visual sketches. Finally, it employs an image generation model to supplement textures, materials, and photorealism. In this workflow, code serves as a controllable intermediate canvas bridging linguistic reasoning and pixel synthesis, seamlessly integrating programmatic logic with the visual expressiveness of generative models. By transforming image generation from a black-box paradigm into a staged process akin to authentic human creation, GenClaw offers a step toward for highly controllable and interpretable visual generation systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI