日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像生成バイアスarXiv:2610.23925

SpinDoctor: 偏った画像生成を引き起こす無害なプロンプトの発見

SpinDoctor: Finding Innocuous Prompts for Biased Image Generation

シェア:XThreadsFacebookLINEはてブBluesky

テキスト画像生成モデルに対し、一見無害なプロンプトでありながら特定のバイアスを持つ画像を生成させるプロンプトを探索するブラックボックス手法を提案。生成品質を保ちつつ、モデル間でも78.6%の転移性を示した。

詳しい要約

1. どんなもの?

- text-to-image モデルに対し、指定した target bias を持つ画像を生成させる『一見無害な prompt』を発見する手法 SpinDoctor を提案 - 生成される画像と prompt の品質は保ちつつ、bias を誘導する - こうした prompt は、偏りのない prompt と信じて使うユーザーが biased image を受け取るという操作リスクを持つ - モデルを black-box として扱い、target bias も容易に変更可能で汎用性が高い

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 主張される利点は、black-box 利用のみで target image bias を簡単に変更できる柔軟性 - モデル間の transferability を示し、あるモデルで生成した prompt でも別モデルで同じ bias が 78.6% のケースで出現 - 画像と prompt の品質を保つ点を明示している

3. 技術・手法の肝は?

- モデルを black-box としてのみ利用し、target bias へ画像を誘導する innocuous prompt を探索 - target image bias を差し替え可能な設計で、様々なシナリオ・動機に適用可能 - 画像品質と prompt 品質を保持する制約下で探索する点が肝 - 具体的な探索アルゴリズムや最適化手順は要旨からは不明

4. どうやって有効だと検証した?

- 304 実験のうち 2 件を除き、全実験で生成画像を望む bias 方向へ動かす innocuous prompt を発見 - 2 つの open-source text-to-image モデルで平均 34.8% と 33.5% の改善 - 実験の一部は human evaluation で裏付け - モデル間 transferability を 78.6% のケースで確認

5. 議論はある?

- 一見 unbiased な prompt が biased image を生むというユーザー操作リスクを提起 - black-box 適用可能で target bias を変更できるため、様々な動機・シナリオで悪用され得る点が議論の余地 - 画像・prompt 品質を保つ設計と transferability がリスクを高める可能性 - 具体的な倫理的議論や緩和策は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として text-to-image の prompt engineering、adversarial prompt、bias mitigation、fairness in generative models に関する定番研究を次に読むべき - transferability の観点から black-box adversarial attack 系の研究も関連

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anna Gerchanovsky, Omer Akgul, Lujo Bauer, Michael K. Reiter

分類: cs.CV, cs.AI

原文アブストラクト

We introduce SpinDoctor, a method for discovering innocuous prompts for text-to-image models that result in images with a chosen target bias, while retaining the quality of the images and prompts. These prompts present a risk for user manipulation, in that a user who is given these seemingly unbiased prompts might be willing to use them and would receive biased images in return. Our method is flexible: it uses models in a black-box way only and the target image bias can easily be changed, and so our method can be applied with various motivations and in various scenarios. Our method shows some transferability between models-we saw the same bias emerge in 78.6% of cases-such that a victim who uses a prompt generated via our method using one model still likely receives a biased image from another model. In our experiments, a subset of which we corroborated with human evaluation, we were able to find an innocuous prompt that moved generated images in the direction of the desired bias in all but two of 304 experiments, with an average improvement of 34.8% and 33.5% on two open-source text-to-image models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI