日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

テキストから画像生成arXiv:2606.20924

ELDiff: 証拠学習とテキストから画像への拡散の融合

ELDiff: When Evidential Learning Meets Text-to-Image Diffusion

シェア:XThreadsFacebookLINEはてブBluesky

複数オブジェクトのテキストから画像生成において、セグメンテーションマップの不確実性と意味的競合を扱うため、証拠学習に基づく損失関数を導入し、オブジェクトごとの一貫性を強化する拡散モデルELDiffを提案した。

詳しい要約

1. どんなもの?

- 多物体の text-to-image (T2I) diffusion における意味的一貫性を高める手法 ELDiff を提案。 - evidential learning を supervision に導入し、不確実性指標と conflict detection を活用。 - pixel evidence loss と token conflict loss の2つの損失で構成。 - 推論時の追加操作なしで既存の学習パイプラインに組み込める。

2. 先行研究と比べてどこがすごい?

- token supervised diffusion は segmentation map の bias や semantic overlap conflict に弱い。 - ELDiff は evidential learning の不確実性指標と conflict detection で fault tolerance を高める。 - SD v1.4, SD v2.1, SDXL, SD v3.5, Qwen-Image 上で training based / train-free based の既存 T2I diffusion を上回る。 - 推論時操作が不要な点も先行手法と異なる。

3. 技術・手法の肝は?

- evidential learning-supervised な T2I diffusion モデル。 - pixel evidence loss: evidential regularization により信頼できないラベルへの過信を抑制。 - token conflict loss: 測定した conflict factor を最適化し意味間の矛盾を弱める。 - 不確実性指標と conflict detection を活用し object-wise consistency learning を強化。

4. どうやって有効だと検証した?

- Extensive experiments を実施。 - SD v1.4, SD v2.1, SDXL, SD v3.5, Qwen-Image 上で評価。 - training based および train-free based の既存 T2I diffusion モデルと比較し優位性を確認。 - 追加の inference-time manipulations を必要としないことも示す。

5. 議論はある?

- segmentation map bias と semantic overlap conflict が多物体時の課題として議論。 - evidential learning の不確実性指標と conflict detection が fault tolerance 向上に寄与。 - 既存の学習パイプラインへ seamless に拡張可能である点を主張。 - 具体的な限界や失敗事例は要旨からは不明。

6. 次に読むべき論文は?

- token supervised diffusion models - train-free based T2I diffusion models - SD v1.4, SD v2.1, SDXL, SD v3.5, Qwen-Image - evidential learning - segmentation map を用いた object-wise consistency learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qingtao Pan, Kai Ye, Zhihao Dou, Bing Ji, Shuo Li

分類: cs.CV

原文アブストラクト

In multi-object text-to-image (T2I) diffusion, ensuring semantic consistency between textual prompts and generated visual content is crucial for image synthesis. However, such consistency constraint is often underemphasized in the denoising process of diffusion models. Although token supervised diffusion models can mitigate this issue by learning object-wise consistency between the image content and object segmentation maps, it tends to suffer from the problems of segmentation map bias and semantic overlap conflict, especially when involving multiple objects. In this paper, we propose ELDiff, a new evidential learning-supervised T2I diffusion model, which leverages the advantages of uncertainty metric and conflict detection to enhance the fault tolerance of unreliable segmentation maps and suppress semantic conflicts, strengthening object-wise consistency learning. Specifically, a pixel evidence loss is proposed to restrain overconfidence in unreliable labels through evidential regularization, and a token conflict loss is designed to weaken the contradiction between semantics through optimizing a measured conflict factor. Extensive experiments show that our ELDiff outperforms existing training based and train-free based T2I diffusion models on SD v1.4, SD v2.1, SDXL, SD v3.5, and Qwen-Image, without requiring additional inference-time manipulations. Notably, ELDiff can be seamlessly extended to the existing training pipeline of T2I diffusion models. Code can be found at https://github.com/QingtaoPan/ELDiff.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI