日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.03960

Localize-and-Detect: 命令チューニングモデルにおけるタスクレベルポイズニングの監査

Localize-and-Detect: Auditing Task-Level Poisoning in Instruction-Tuned Models

シェア:XThreadsFacebookLINEはてブBluesky

ベースモデルとファインチューニング済みモデルの出力のみを用いて、タスクレベルポイズニングの標的タスクを特定し、偏った内容を検出する2段階のブラックボックス監査手法を提案。

詳しい要約

1. どんなもの?

- Instruction fine-tuning は instruction-response ペアで事前学習モデルを適応する手法。 - Task-level poisoning はこのタスク構造を悪用し、明示的 trigger なしに特定 target task で攻撃者指定の biased content を出力させる攻撃。 - 検出が難しい理由は trigger 不在、target task と biased content が未知、benign fine-tuning 自体が挙動を変える点。 - 本論文は Localize-and-Detect を提案。base と fine-tuned モデルの出力のみを使う two-stage black-box auditing 手法。

2. 先行研究と比べてどこがすごい?

- 従来の backdoor 検出は明示的 trigger を前提とするが、task-level poisoning には trigger が無い。 - 本手法は trigger を必要とせず、base と fine-tuned の出力差分のみで target task と biased content を特定。 - 要旨では具体的な先行研究名や比較数値は示されておらず、優位性の定量的比較は要旨からは不明。

3. 技術・手法の肝は?

- 第一段階: base と fine-tuned の next-token distributions の差が最大となる候補タスクを特定し target task を localize。 - 第二段階: 絞り込んだタスクで、fine-tuned の応答に繰り返し現れるが base には現れない biased content を探索。 - 入力を要さず両モデルの出力のみを使う black-box 設定。 - 明示的 trigger や target task の事前知識を必要としない。

4. どうやって有効だと検証した?

- 2 つの model families にわたる 216 の poisoned models で評価。 - target task、poisoning mode、poison budget、biased content の種類を変化させて検証。 - 多様な poisoning 設定とモデルで target task の localize と biased content の検出に有効。 - 検出性能は attack success に追従し、clean models では false positives が少ない。

5. 議論はある?

- 要旨では限界や失敗事例、計算コスト、適応範囲などの議論は明示されていない。 - 検出が attack success に追従し false positives が少ない点は述べられている。 - 具体的な議論の有無は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として backdoor detection、trigger-based poisoning detection、instruction fine-tuning の安全性研究が挙げられる。 - 同分野の定番として backdoor attack/defense、data poisoning、model auditing に関する研究を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luze Sun, Cristina Nita-Rotaru, Alina Oprea

分類: cs.CR, cs.LG

原文アブストラクト

Instruction fine-tuning adapts a pretrained language model to follow instructions by training it on instruction--response pairs from a collection of tasks, such as summarization and question answering. Task-level poisoning exploits this task structure to manipulate the fine-tuned model into producing attacker-specified biased content on a particular target task, without requiring an explicit input trigger. Detecting such attacks is challenging because there is no explicit trigger to identify, the target task and biased content are unknown, and benign fine-tuning itself changes model behavior. We introduce Localize-and-Detect, a two-stage black-box auditing method for task-level poisoning that requires only outputs from both the base and fine-tuned models. In the first stage, we localize the target task by identifying candidate tasks on which the fine-tuned and base models have the largest differences in their next-token distributions. In the second stage, we search the shortlisted tasks for biased content that repeatedly appears in the fine-tuned model's responses but not in those of the base model. We evaluate Localize-and-Detect on 216 poisoned models across two model families, varying the target task, poisoning mode, poison budget, and type of biased content. Our evaluation demonstrates that Localize-and-Detect can effectively localize target tasks and detect biased content across a range of poisoning settings and models, with detection that tracks attack success and few false positives on clean models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI