日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

解釈可能性arXiv:2607.03502

ドットの間を読む:フィラー・トークンに隠された計算の解読

Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

シェア:XThreadsFacebookLINEはてブBluesky

LLMが空白やドットなどの無意味なトークン上で多段階推論を行う際、その内部計算が残差ストリームから読み取れることを示し、教師なしで中間値を高精度に復元する手法を提案した論文。

詳しい要約

1. どんなもの?

本論文は、フロンティアLLMが、ドットやカウント列などの内容を持たないfiller token上で多段階推論を実行し、可視のchain-of-thought (CoT)なしに正解を生成する現象を扱う。これは行動監視の限界事例であり、表面トークンが推論の情報を含まない。しかし、出力に隠されていることは、モデル内部から隠されていることではない。4つのタスク群(fact retrieval、parallel numeric composition、string manipulation、in-context computation)と2つのオープンウェイトモデル(DeepSeek V3、Kimi K2)において、filler token上の計算が構造化され、読み取り可能であることを示す。具体的には、attentionが質問をfiller領域を通って回答へルーティングし、logit-lensの読み出しで検索された事実が早期に出現し、その合成が後期層で結晶化することを示す。さらに、filler位置でのKV-cache移植が、例間で出力を因果的に交換する。また、隠れ状態のみを入力とし、教師ラベルや…

2. 先行研究と比べてどこがすごい?

先行研究では、LLMの推論は可視のCoTや表面トークンに基づいて監視されることが一般的であり、filler token上の隠れた計算は行動監視の盲点とされてきた。本研究は、そのような隠れた計算が実際にはモデルの内部表現(residual stream)から読み取り可能であることを示し、監視可能性を表面トークンから内部計算トレースへ拡張する点で新しい。また、教師なしで中間値を復元するデコードパイプラインを提案し、従来の教師ありプロービングや学習ベースの手法に依存しない点も先行研究と異なる。

3. 技術・手法の肝は?

手法の肝は、filler token上の計算を可視化・解読するための複数の分析技術と、教師なしデコードパイプラインにある。具体的には、attentionパターンの解析により質問から回答への情報ルーティングを追跡し、logit-lensを用いて各層の隠れ状態から語彙分布を読み出し、検索された事実やその合成の時間的発展を観察する。さらに、KV-cache移植実験により、filler位置のキャッシュが出力に因果的影響を与えることを示す。教師なしデコードパイプラインは、隠れ状態のみを入力とし、クラスタリングや次元削減などの手法で中間値を推定する。

4. どうやって有効だと検証した?

有効性の検証は、4つのタスク群(fact retrieval、parallel numeric composition、string manipulation、in-context computation)と2つのオープンウェイトモデル(DeepSeek V3、Kimi K2)を用いて行われた。教師なしデコードパイプラインは、中間値を80-95%の精度(最良のLLM判定)で復元できた。また、attentionルーティングやlogit-lensの読み出し、KV-cache移植の結果が、モデルがfiller token上で構造化された計算を行っていることを支持する定性的・定量的証拠として提示された。

5. 議論はある?

議論として、本研究はfiller token上の計算が内部から読み取り可能であることを示したが、これは特定のタスクとモデルに限定された結果であり、より複雑な推論や他のモデルへの一般性は不明である。また、教師なしデコードパイプラインの精度は80-95%であり、完全ではないため、監視の信頼性には限界がある。さらに、監視可能性がモデルの計算トレース全体の特性であるという主張は、これらのタスクでは支持されるが、より高度な隠蔽技術に対しては脆弱かもしれない。

6. 次に読むべき論文は?

次に読むべき論文は、要旨で参照されているchain-of-thought (CoT)関連の研究や、モデルの内部表現を解釈する研究(例:logit-lens、attention analysis、KV-cache manipulation)が挙げられる。具体的には、CoTの監視可能性を扱った論文や、residual streamの解釈可能性に関する研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaley Brauer, Claudio Mayrink Verdun, Samuel Marks

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

Frontier LLMs can perform multi-step reasoning over content-free filler tokens like dots or counting sequences, producing correct answers with no visible chain-of-thought (CoT). This is a limit case for behavioral oversight, where surface tokens carry no information about the underlying reasoning. But hidden from the output is not the same as hidden from us. On four task families (fact retrieval, parallel numeric composition, string manipulation, and in-context computation), two open-weights frontier models (DeepSeek V3, Kimi K2) compute over filler tokens in a structured, legible way: attention routes the question through the filler region to the answer, logit-lens readouts show retrieved facts emerging early and their composition crystallizing in late layers, and KV-cache transplants at filler positions causally swap outputs between examples. We introduce an unsupervised decoding pipeline that takes only hidden states as input and recovers intermediate values with 80-95% accuracy (best LLM judge) across both models and all four tasks, without ground-truth labels or training. Hidden computation that defeats behavioral CoT monitoring is, on these tasks, directly readable from the residual stream, suggesting monitorability is a property of the model's full computational trace, not just its surface tokens.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI