日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLM解釈性arXiv:2607.05013

知識は知っている、言語化は語る:LLMにおける数学的可解性の潜在方向の解きほぐし

Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs

シェア:XThreadsFacebookLINEはてブBluesky

LLMの内部表現から、数学問題の可解性に関する知識と言語化を別々にプローブし、捏造が主に言語化の変化に起因することを示し、活性化ステアリングで棄権を改善した。

詳しい要約

1. どんなもの?

本論文は、LLMが数学問題の可解性を判断する際の内部表現を分析し、可解性に関する知識とその言語化(verbalization)を分離して調査する研究。従来の行動レベルの分析を超え、内部表現レベルで両者を切り分け、操作する手法を提案している。

2. 先行研究と比べてどこがすごい?

先行研究では、モデルの可解性信念を内部表現からプローブする試みがあったが、言語化は主に行動として研究され、内部表現としての分析や操作は行われていなかった。本論文は、知識と言語化を別々にプローブすることで、両者を隠れ状態内で分離できることを示し、fabrication(捏造)が知識の変化ではなく言語化の変化に起因することを明らかにした点が新しい。

3. 技術・手法の肝は?

手法の肝は、複数のLLMの隠れ状態に対して、可解性知識と言語化をそれぞれ別々に線形分離可能な表現としてプローブすること。さらに、unsolvability cues(不可解性の手がかり)をプロンプトに与えることで言語化をシフトさせ、activation steering(活性化ステアリング)によって表現を機構的に操作し、モデルの棄権(abstention)を改善する。

4. どうやって有効だと検証した?

複数のLLMを用いて、知識と言語化が別々の線形表現としてエンコードされていることを検証。また、unsolvability cuesによるプロンプティングが主に言語化をシフトさせることでfabricationを減らすこと、activation steeringが表現を操作してモデルの棄権を改善することを実験的に示した。

5. 議論はある?

要旨からは、fabricationが知識ではなく言語化に起因するという発見の解釈や、activation steeringの実用性、プローブの一般性などについての議論は不明。また、異なるモデル間での表現の共通性や、操作がモデルの他の能力に与える影響なども要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている先行研究は明示されていないが、関連する研究として、LLMの内部表現のプロービング(probing)や、activation steeringによるモデル操作、数学的推論における棄権(abstention)に関する研究が挙げられる。具体的には、"Language Models (Mostly) Know What They Know"や"Steering Llama 2 via Contrastive Activation Addition"などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikolaos Xiros, Maria-Eleni Zoumpoulidi, Georgios Paraskevopoulos

分類: cs.CL, cs.LG

原文アブストラクト

Although LLMs have made significant progress in mathematical reasoning, determining whether a mathematical problem is solvable remains a fundamental yet challenging capability. While recent studies have probed internal representations of model solvability beliefs, verbalization has primarily been studied behaviorally rather than as an internal representation, limiting its analysis and manipulation. We address this gap by separately probing representations of solvability knowledge and verbalization, allowing us to disentangle the two within model hidden states. Across multiple LLMs, we show that knowledge and verbalization are encoded as distinct, linearly decodable representations and that fabrication is primarily associated with changes in verbalization rather than the underlying knowledge. Prompting with unsolvability cues reduces fabrication primarily by shifting verbalization, while activation steering demonstrates that these representations can be echanistically manipulated to improve model abstention.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI