InterleaveThinker: エージェント型インターリーブ生成の強化

- 既存の画像生成器に interleaved generation（text-image sequence）能力を付与する初の multi-agent pipeline「InterleaveThinker」を提案。 - planner agent が画像・テキスト入力系列を整理し、各ステップで生成器への実行指示を出す。 - critic agent が生成器の出力を評価し、計画から逸脱したサンプルを特定して指示を修正・再生成する。 - 単一画像生成・編集に強い既存生成器や最新の open-source Unified Multimodal Models (UMMs) でも苦手な interleaved generation を対象とする。

- 従来の画像生成器はアーキテクチャ制約により interleaved generation ができず、最新の open-source UMMs でも性能が限定的だった。 - InterleaveThinker は任意の既存画像生成器に interleaved generation 能力を付与できる初の multi-agent pipeline である点が新しい。 - 各種画像生成器で性能を改善し、interleaved generation ベンチマークで Nano Banana や GPT-5 に匹敵する性能を達成。 - さらに base model の reasoning-based benchmarks も大幅に向上（例: 4-step FLUX.2-klein で WISE と RISE が大幅改善）。

- planner agent が image-text 入力系列を組織し、各ステップで画像生成器への実行指示を生成。 - critic agent が生成出力を評価し、計画から逸脱したサンプルを特定して指示を refine し再生成。 - 形式 cold-start 用に Interleave-Planner-SFT-80k と Interleave-Critic-SFT-112k を構築。 - Interleave-Critic-RL-13k を GRPO で学習し、生成 trajectory 内の step-wise instruction correction 能力を強化。 - 1 trajectory が 25 回以上の generator calls を含むため全体最適化は非現実的。accuracy reward と step-wise reward を提案し、single-step RL で trajectory 全体を効果的に導く。

- 各種画像生成器に InterleaveThinker を適用し、性能改善を確認。 - interleaved generation ベンチマークで Nano Banana や GPT-5 に匹敵する性能を達成。 - 4-step FLUX.2-klein において WISE と RISE で大幅な向上を観測し、reasoning-based benchmarks も改善。 - 具体的なデータセット名・評価指標の詳細は要旨からは不明。

- 単一 interleaved generation trajectory が 25 回以上の generator calls を含むため、trajectory 全体の最適化は計算量的に非現実的。 - この課題に対し accuracy reward と step-wise reward を提案し、single-step RL で trajectory 全体を導くアプローチを議論。 - その他の限界や議論は要旨からは不明。

- Nano Banana - GPT-5 - FLUX.2-klein - WISE - RISE - GRPO - Unified Multimodal Models (UMMs)