日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像生成arXiv:2610.33460

セマンティック優先MixGRPO:時間的分離による信頼性の高い感情画像生成

Semantic-First MixGRPO: Reliable Emotional Image Generation via Temporal Decoupling

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルのサンプリング過程で確率的探索を行う区間を後半に限定し、前半は決定論的に内容を確定させることで、感情制御と意味保持を両立させた画像生成手法を提案。

詳しい要約

1. どんなもの?

- テキストから画像を生成する際に、prompt が指定する物体・レイアウト・関係を保ったまま視覚的な感情(affect)だけを変更する制御可能な画像合成の研究。 - FLUX.1-dev と EmotiCrafter 風の valence-arousal conditioning を用い、flow-based 画像生成における stochastic-window の位置を属性制御変数として扱う。 - 固定の early/middle/late な 4-transition SDE window、progressive MixGRPO、full-path Flow-GRPO を同一設定で比較する。

2. 先行研究と比べてどこがすごい?

- 既存手法は conditioning アーキテクチャや補助 loss で感情と内容の緊張関係に対処するものが中心。 - 混合 ODE/SDE sampling は主に GRPO の高速化に使われてきたが、本研究は stochastic window の位置自体を属性制御の次元として使う点が新しい。 - full-path Flow-GRPO 比で学習コストを 33.5% 削減しつつ、progressive scheduling より affect と semantic の両指標を改善。

3. 技術・手法の肝は?

- step 0 が最も高ノイズであることに着目した semantic-first schedule を提案。 - steps 0-19 は決定的な ODE sampling で内容(content)を確立し、steps 20-23 に確率的探索と policy 更新を限定する。 - これにより semantic drift を抑えつつ affect 制御を行う時間的分離(temporal decoupling)を実現。

4. どうやって有効だと検証した?

- 3 seed で CLIPScore 29.662±0.276、cross-affect DINO consistency 80.1±0.9、semantic drift 2.9% を報告。 - full-path Flow-GRPO 比で学習コスト 33.5% 削減。 - 5 つの extreme/neutral target で主被写体を 95.98% の画像で保持。 - 30 名参加のユーザスタディで semantic-preservation と overall-preference の最高評価を獲得。

5. 議論はある?

- full-path stochastic training は valence-arousal target の精度で依然優位であり、真の trade-off が存在すると論じている。 - semantic-first は affect と semantic の両指標で progressive scheduling を上回るが、感情ターゲット精度とのバランスが議論点。 - probability-flow time を実用的なグラフィックス制御次元として位置づける知見を示す。

6. 次に読むべき論文は?

- Flow-GRPO(比較対象の full-path 手法) - MixGRPO / progressive MixGRPO(比較対象) - EmotiCrafter(valence-arousal conditioning の参照) - FLUX.1-dev(基盤モデル) - GRPO(group relative policy optimization)関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenxuan Wang

分類: cs.CV

原文アブストラクト

Controllable image synthesis should modify visual affect without replacing the objects, layout, or relations specified by a prompt. Existing methods address this tension through conditioning architectures or auxiliary losses, while mixed ordinary differential equation (ODE) and stochastic differential equation (SDE) sampling has mainly been used to accelerate group relative policy optimization (GRPO). We instead study stochastic-window position as an attribute-control variable for flow-based image generation. Using FLUX.1-dev with EmotiCrafter-style valence-arousal conditioning, we compare fixed early, middle, and late four-transition SDE windows, progressive MixGRPO, and full-path Flow-GRPO under matched settings. Because step 0 has the highest noise, our semantic-first schedule uses deterministic ODE sampling at steps 0-19 to establish content, then confines stochastic exploration and policy updates to steps 20-23. Across three seeds, it achieves a CLIPScore of $29.662\pm0.276$, cross-affect DINO consistency of $80.1\pm0.9$, and semantic drift of 2.9%, while reducing training cost by 33.5% relative to full-path Flow-GRPO. Full-path stochastic training remains more accurate on valence-arousal targets, revealing a genuine trade-off. Semantic-first nevertheless improves both affect and semantic metrics over progressive scheduling, preserves the principal subject in 95.98% of images at five extreme or neutral targets, and receives the highest semantic-preservation and overall-preference ratings in a 30-participant study. These results identify probability-flow time as a practical graphics control dimension for reliable affective appearance manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI