PaintBench: 精密な視覚編集の決定的評価

- 精密な単一正解の視覚編集を評価する動的スケーラブルなベンチマーク PaintBench を提案。 - 対象は geometric transformation、structural manipulation、color change、symbolic reasoning の4カテゴリ、20の基本操作。 - 手続き的生成と設定可能な複雑度により、実質無限で汚染耐性のある評価スイートを実現。 - 決定論的なピクセルレベル評価を採用し、バイアスのある judge model への依存を排除。

- 従来のオープンエンドな視覚編集評価と異なり、精密な単一正解編集に焦点。 - judge model に依存せず、決定論的ピクセル評価でバイアスを排除。 - 手続き的生成により、実質無限で汚染耐性のある評価が可能。 - 11の画像編集モデルを評価し、最高性能でも mIoU 17.1% と低いことを示す。

- 4カテゴリ20操作を対象に、手続き的生成で設定可能な複雑度の評価スイートを構築。 - 決定論的ピクセルレベル評価を採用し、judge model を使わない。 - タスク分解により操作タイプごとの難易度やモデル固有の得意分野を分析。 - シーン変動（物体数、背景複雑度、配色、編集領域サイズ）による性能劣化を診断。

- 11の画像編集モデルを評価し、全体性能が低いことを確認。 - 最高性能の業界リーダーでも mIoU 17.1% にとどまる。 - タスク分解で特に困難な操作タイプ（geometric transformation、ほとんどの structural manipulation、formula-based color change）を特定。 - データ可視化編集用の手続き的決定論的評価 TinyGrafixBench を作成し、PaintBench スコアとの強い線形相関（R^2 = 0.91, p < 0.001）を確認。

- 精密視覚編集における現行モデルの性能は全体的に低い。 - 操作タイプによって難易度に大きな差があり、モデル固有の得意分野が存在。 - 物体数、背景複雑度、配色、編集領域サイズなどのシーン変動が性能劣化を引き起こす。 - PaintBench スコアは応用タスク性能へ一般化し、強い線形相関を示す。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、multimodal models、image editing models、judge models が挙げられる。 - 同分野の定番として、visual editing benchmarks や image editing evaluation に関する研究を読むべき。