日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

解釈可能性arXiv:2603.14087

次トークン予測器における一見無用な特徴量の出現の理解

Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

シェア:XThreadsFacebookLINEはてブBluesky

Transformerが次トークン予測に不要に見える抽象的特徴を学習する理由を勾配信号の観点から分析し、その影響を推定する手法を提案した論文。

詳しい要約

1. どんなもの?

- 次トークン予測で学習されたTransformerが、直後のトークン予測には不要に見える抽象的特徴を計算する現象を扱う。 - この現象を生む勾配信号の成分を特定し、特定の特徴の出現への影響を推定する手法を提案。 - toyタスクで検証後、OthelloGPTのworld modelや小規模言語モデルのsyntactic featuresの起源解釈に適用。 - 事前学習済みLLMに適用し、将来トークンへの影響が極端に高い/低い特徴はcodeなどのformal reasoning領域に関連することを示す。 - 学習中の発達に着目してTransformerの隠れ特徴を理解する一歩とする。

2. 先行研究と比べてどこがすごい?

- 従来、Transformerが次トークン予測に冗長な抽象的特徴を計算することは示されていた。 - 本研究は、次トークン予測目的の勾配信号のどの成分がこの現象を生むかを特定する点で新しい。 - さらに、それらの成分が特定の特徴の出現に与える影響を推定する手法を提案する点が先行研究と異なる。 - 学習中の発達という視点から隠れ特徴を理解するアプローチを取る。

3. 技術・手法の肝は?

- 次トークン予測目的からの勾配信号を成分に分解し、各成分を特定。 - それらの成分が特定の特徴の出現に与える影響を推定する手法を提案。 - toyタスクで手法を検証。 - OthelloGPTのworld modelや小規模言語モデルのsyntactic featuresの起源解釈に適用。 - 事前学習済みLLMに適用し、将来トークンへの影響度と特徴の関連を分析。

4. どうやって有効だと検証した?

- toyタスクで提案手法を検証。 - OthelloGPTのworld modelの起源解釈に適用。 - 小規模言語モデルのsyntactic featuresの起源解釈に適用。 - 事前学習済みLLMに適用し、将来トークンへの影響が極端に高い/低い特徴がcodeなどのformal reasoning領域に関連することを示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- OthelloGPT - 小規模言語モデル - 事前学習済みLLM - 次トークン予測 - Transformer - world model - syntactic features - formal reasoning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mark Rofin, Jalal Naghiyev, Michael Hahn

分類: cs.LG, cs.CL

原文アブストラクト

Trained Transformers have been shown to compute abstract features that appear redundant for predicting the immediate next token. We identify which components of the gradient signal from the next-token prediction objective give rise to this phenomenon, and we propose a method to estimate the influence of those components on the emergence of specific features. After validating our approach on toy tasks, we use it to interpret the origins of the world model in OthelloGPT and syntactic features in a small language model. Finally, we apply our framework to a pretrained LLM, showing that features with extremely high or low influence on future tokens tend to be related to formal reasoning domains such as code. Overall, our work takes a step toward understanding hidden features of Transformers through the lens of their development during training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI