日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.11758

予測プロンプトと負例学習による汎化可能な視覚言語Few-Shot適応

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルのFew-Shot適応において、クエリごとに混同しやすいクラスを選択的に抑制し、LLMで生成した対比プロンプトと適応的融合重みを組み合わせることで、分布シフトやラベルノイズ下でも高精度を実現した。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)のfew-shot適応フレームワーク SCAN (Selective Confusion-Aware Negatives) を提案する研究 - 推論時のnegative class信号の扱いを改善することに焦点 - 3つの貢献: query-adaptive negative routing、LLM-bootstrapped contrastive prompts、parameter-free adaptive fusion weight - 11の標準ベンチマークで評価し、fine-grainedデータセットやdistribution shift、label noise下でも頑健性を示す

2. 先行研究と比べてどこがすごい?

- 既存手法は全queryに対して一様なnegative suppressionを適用し、query固有でsupport-set geometryに応じて変化する混同を無視していた - SCANはqueryごとにtop-Kの混同しやすいクラスに限定してsuppressionを行う - 汎用negative text templateを、混同クラスペア間の識別属性を記述するLLM-bootstrapped contrastive promptsに置換 - 手動チューニング不要のadaptive fusion weightを導入 - 11ベンチマークでprior prompt-based/adapter-based手法を16-shotで平均4.61%、fine-grainedで最大7.70%上回る

3. 技術・手法の肝は?

- query-adaptive negative routing: 追加パラメータなしで、queryごとにtop-Kの混同クラスにのみnegative suppressionを制限 - LLM-bootstrapped contrastive prompts: 混同クラスペアの識別属性を記述し、テキスト決定境界を先鋭化 - parameter-free adaptive fusion weight: support-set Fisher discriminabilityから推定し、vision-language trade-offの手動調整を排除 - 推論時のnegative信号処理とテキストプロンプト設計、融合重み推定を組み合わせる

4. どうやって有効だと検証した?

- 11の標準ベンチマークで評価 - 16-shotでprior prompt-based/adapter-based手法を平均4.61%上回る - fine-grainedデータセットで最大7.70%の改善 - 4つのImageNet OOD variantで平均2.95%改善しdistribution shiftへの汎化を示す - 50% label corruption下でも最強競合手法のclean baselineを上回る精度を維持

5. 議論はある?

- 要旨からは不明(negative信号処理の限界やquery固有混同の重要性は動機として述べられるが、限界や失敗ケースの議論は明示されていない) - label noise下での頑健性は示されるが、その機序の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されているprior prompt-based手法およびadapter-based手法(具体名は要旨からは不明) - ImageNet OOD variantsを用いたdistribution shift評価の関連研究 - LLM-bootstrapped contrastive promptsに関連するprompt learning研究 - Fisher discriminabilityに基づく融合重み推定に関連する手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sriram Mandalika

分類: cs.CV, cs.AI, cs.GR, cs.RO

原文アブストラクト

Few-shot adaptation of vision-language models remains fundamentally limited by how negative class signals are handled at inference. Existing methods apply uniform negative suppression across all queries, ignoring that the most damaging confusions are query-specific and shift with support-set geometry. We introduce SCAN (Selective Confusion-Aware Negatives), a framework that addresses this gap through three targeted contributions. In inference, query-adaptive negative routing restricts suppression to the top-K most confusable classes per query, requiring zero additional parameters. Generic negative text templates are replaced with LLM-bootstrapped contrastive prompts that describe discriminative attributes between confusable class pairs, sharpening the textual decision boundary where it matters most. A parameter-free adaptive fusion weight estimated from support-set Fisher discriminability removes the need for manual tuning of the vision-language trade-off. Evaluated across 11 standard benchmarks, SCAN consistently outperforms prior prompt-based and adapter-based methods by an average of 4.61% at 16-shot, with gains of up to 7.70% on fine-grained datasets where inter-class confusion is most severe. SCAN also generalizes strongly under distribution shift, improving by 2.95% on average across four ImageNet OOD variants, and maintains robust performance under significant label noise, with accuracy under 50% label corruption still exceeding the clean baseline of the strongest competing method.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI