日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

選好最適化arXiv:2609.22359

信頼性スイッチを組み込む選好最適化:反発・更新・拒絶の三方向契約

Resist, Update, Reject: Preference Optimization Installs a Prior-Dependent Reliability Switch

シェア:XThreadsFacebookLINEはてブBluesky

情報源の信頼性に応じて反発・更新・拒絶を切り替える能力を、信頼性を明示したデータで選好最適化することによりモデルに獲得させる手法を提案し、その有効性を検証した。

詳しい要約

1. どんなもの?

アラインメント済みモデルが、操作的な情報源には抵抗し、信頼できる情報源には更新し、信頼できない情報源は拒否するという三方向の契約を扱う研究。 - 反 sycophancy 研究が最適化する目的関数は、情報源の信頼性に対して non-identifying であることを示す。 - 信頼性ラベル付きデータによる preference optimization が、prior 依存の reliability switch を導入することを実証。 - Qwen2.5-7B-Instruct と Llama-3.1-8B で検証。

2. 先行研究と比べてどこがすごい?

従来の反 sycophancy 研究は、信頼性に対して non-identifying な目的関数を最適化しており、fixation↔gullibility frontier を生む。 - 本研究は信頼性をデータで identifiable にし、prior 強度 p に依存する閾値 r* を導入。 - 単なる pairing や loss、imitation ではなく、信頼性ラベル付きカバレッジ上の preference optimization が原因と特定。

3. 技術・手法の肝は?

閾値ベンチマークを設計:情報源が反対の答えを主張しつつ信頼性 r を述べ、r がモデルの prior 強度 p を超える場合のみ反転が正解。 - balanced coverage 上の preference optimization により、prior 依存の reliability switch を学習。 - 3 シードで閾値 r* が prior とともに単調増加。 - 未見の信頼性値や held-out notation へ汎化し、role prestige より stated reliability に従う。

4. どうやって有効だと検証した?

Qwen2.5-7B-Instruct で 3 シード、decision accuracy 0.84、単調な flip curve(Spearman 0.56)。 - 未見の信頼性値と held-out notation への汎化を確認。 - 3 つのコントロール:unmatched variant でも switch 導入(0.80)、IPO でも同様(0.86)、supervised imitation では導入されず(0.50)。 - 確認用バッテリーで新規テスト抽選に複製、Llama-3.1-8B へ転移。

5. 議論はある?

frontier は定理ではなく経験的性質。 - switch は証言内で述べられた信頼性に反応し、別途監査された記録には基づかないと正直に限界を明示。 - 信頼性が stated であることの限界、および prior 依存性について議論。

6. 次に読むべき論文は?

反 sycophancy 研究、preference optimization(DPO 等)、IPO、supervised imitation、Qwen2.5-7B-Instruct、Llama-3.1-8B に関連する論文。 - 具体的な参照論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sen Yang, Yuen-Hei Yeung

分類: cs.LG, cs.AI

原文アブストラクト

An aligned model asked to hold its answer against a manipulative source must still update on a reliable one and reject an unreliable one: resistance, reliable-update, and unreliable-source rejection are one three-way contract, not three independent behaviors. We show the objective most anti-sycophancy work optimizes is non-identifying with respect to source reliability: because no preference label depends on whether a source is actually reliable, any scalar mixture of the arms traces a single deference dial, and no point separates two same-template testimonies differing only in stated reliability. This fixation$\leftrightarrow$gullibility frontier is a property of the objective, not any model. We make reliability identifiable through data: a threshold benchmark where a source asserts the opposite answer while stating its reliability $r$, and the correct action is to flip iff $r$ exceeds the model's prior strength $p$. Preference optimization over balanced coverage installs a prior-dependent reliability switch: across three seeds on Qwen2.5-7B-Instruct the threshold $r^\star$ rises monotonically with the prior, decision accuracy reaches $0.84$ with a monotone flip curve (Spearman $0.56$), and the policy generalizes to unseen reliability values and a held-out notation, following stated reliability over role prestige. Three controls localize the cause: an unmatched variant installs the switch equally ($0.80$), a second preference optimizer (IPO) installs it just as well ($0.86$), whereas supervised imitation does not ($0.50$), so the cause is preference optimization over reliability-labeled coverage, not pairing, loss, or imitation. A confirmatory battery replicates the switch on a fresh test draw, bounds it honestly (it keys on reliability stated in the testimony, not a separately audited record), and transfers it to Llama-3.1-8B. The frontier is empirical, not a theorem.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI