日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

解釈可能性arXiv:2609.22219

知っているのに聞かれた時だけ言う:LLM内部診断とMinerva-7Bの分裂的認知

Knowing, and Saying It Only When Asked: LLM Endognostics and the Schizognosis of Minerva-7B

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルの内部表現を解析・操作する「LLM内部診断」を提案し、Minerva-7Bがリスクを内部で区別しながら行動には反映しないこと、誤った前提に従いつつ内部には真実を保持することを示した。

詳しい要約

1. どんなもの?

- 提案:LLM endognostics(ホワイトボックス内部監査フレームワーク) - 目的:residual stream内の潜在知識を抽出し、因果的に操作する - 対象:Minerva-7B-Instruct-v1.0 - データ:124のminimal prompt pairs(12カテゴリのprofessional risk) - 結果:行動評価では63.7%のペアで同一反応(95% CI [55.0%, 71.6%]) - しかしJacobian lensでresidual streamを語彙に射影すると、Contrastive Endognostic Marginが統計的に有意 - 第2プロトコル:25 facts × 5 linguistic framingsで、72%でpresupposed falsehoodに従うが、潜在層では真のentityを表現 - 結論:行動評価と内部読み取りは系統的に不一致、線形デコーダビリティは因果的制御と分離

2. 先行研究と比べてどこがすごい?

- 従来:行動評価(出力の読み取り)が主流 - 問題:評価者が気にする区別を答えが持つと仮定 - 本研究:LLM endognosticsを形式化し、行動評価と内部読み取りの系統的不一致を証明 - 先行研究との具体的比較は要旨からは不明 - 新規性:線形デコーダビリティが因果的制御を意味しないという理論的分離を確立

3. 技術・手法の肝は?

- LLM endognostics:residual stream内の潜在知識を抽出・因果操作するホワイトボックス監査 - Jacobian lens:residual streamを語彙に射影し、Contrastive Endognostic Marginを測定 - 第2プロトコル:25 facts × 5 linguistic framingsで、presupposed falsehoodへの適合を調査 - 外科的アブレーション:植え付けられた虚偽の方向を除去し、正解を回復 - 対照:out-of-sample linear probe(layer 10で77%精度)の直交アブレーションは回復率0%

4. どうやって有効だと検証した?

- 124 minimal prompt pairs(12カテゴリ)で行動評価:63.7%同一反応(95% CI [55.0%, 71.6%]) - Jacobian lensでContrastive Endognostic Marginが統計的に有意 - 第2プロトコル:25 facts × 5 framingsで72%がpresupposed falsehoodに従う - 虚偽方向のアブレーションで25例中11例回復(McNemar p = 0.0010) - 盲検人手アノテーションで検証(binary agreement kappa = 0.68) - 線形プローブ(layer 10、77%精度)の直交アブレーションは回復率0%

5. 議論はある?

- 行動評価と内部読み取りの系統的不一致を証明 - 線形デコーダビリティが因果的制御を意味しないという理論的分離を確立 - 含意:行動評価のみに依存するアラインメント評価の限界 - 限界・議論の詳細は要旨からは不明 - 今後の課題:endognosticsの一般化、他のモデル・タスクへの適用

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - Jacobian lens - linear probe - McNemar test - 関連手法:residual stream analysis, causal ablation, contrastive decoding - 同分野の定番:mechanistic interpretability, probing classifiers, activation patching

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fabrizio Davide, Francesco Collova

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

Evaluating an aligned language model by reading its answers assumes the answers carry the distinction the evaluator cares about. We introduce LLM endognostics, a white-box internal auditing framework designed to extract and causally manipulate latent knowledge within the residual stream. Applied to Minerva-7B-Instruct-v1.0 on 124 minimal prompt pairs over 12 categories of professional risk, behavioral evaluation fails on most of the set: the model acts identically on 63.7% of the pairs (95% CI [55.0%, 71.6%]), complying with or refusing both members. Yet, projecting the residual stream onto the vocabulary by a Jacobian lens reveals a statistically significant Contrastive Endognostic Margin, proving the model maintains robust risk differentiation internally. In a second protocol crossing 25 facts with five linguistic framings, we show that the model conforms to presupposed falsehoods in 72% of cases, despite representing the true entity in its latent layers. Surgically ablating the direction of the planted falsehood restores the correct answer in 11 of 25 suppressed cases (McNemar p = 0.0010), validated by blind human annotation (binary agreement kappa = 0.68). In contrast, an out-of-sample linear probe achieves 77% accuracy at layer 10, but its orthogonal ablation yields a 0% recovery rate. This establishes a fundamental theoretical dissociation: abstract linear representation does not imply causal control over verbalization. Our main contribution is the formalization of endognostics to prove that behavioral evaluation and internal reading systematically disagree in the common case, and that linear decodability is decoupled from causal control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI