日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

解釈可能性arXiv:2605.18847

トランスフォーマーは高度に構造化された世界モデルを線形に表現する

Transformers Linearly Represent Highly Structured World Models

シェア:XThreadsFacebookLINEはてブBluesky

数独の解法トレースで訓練したトランスフォーマーの内部表現を解析し、セル単位ではなく行・列・ボックス単位で世界モデルを構築し、最終MLP層に特定セルの候補が1つに絞られたことを検出する専用ニューロン群(裸のシングル回路)が存在することを発見した。

詳しい要約

1. どんなもの?

- 8-layer transformerをSudoku solving tracesで訓練し、内部計算をmechanistic analysisで解析した研究。 - 2つの結果を報告。 - モデルはsubstructure world modelを構築し、盤面をcell by cellではなく、Sudokuの制約が作用するrows, columns, boxesを中心に情報を組織化する。 - naked-single circuitを同定。最終MLP層の少数の専用neuronsが、特定のcellでexactly one digit remains possibleな場合を個別に検出し、そのdigitを確実にpromoteする。 - 創発的world modelのgeometryは、表面提示ではなくドメインのconstraint algebraに形作られることを示す。 - 決定回路はsparse, monosemantic, fully interpretableである。 - より広く、mechanistic interpretability toolsがcombinatori…

2. 先行研究と比べてどこがすごい?

- 要旨からは不明。 - 先行研究との具体的比較は記述されていない。 - ただし、従来の人間分析者が期待するcell by cellの盤面表現ではなく、rows, columns, boxesを中心としたsubstructure world modelを構築する点を新規性として提示している。 - また、decision circuitがsparse, monosemantic, fully interpretableであることを示す点も特徴として挙げられている。

3. 技術・手法の肝は?

- 8-layer transformerをSudoku solving tracesで訓練。 - mechanistic analysisを実施。 - 内部計算を解析し、world modelの構造とdecision circuitを同定。 - 特に最終MLP層のneuronsを調べ、naked-single circuitを特定。 - 各neuronが特定cellでexactly one digit remains possibleな場合を検出し、そのdigitをpromoteすることを確認。

4. どうやって有効だと検証した?

- 要旨からは不明。 - 有効性の検証方法の詳細は記述されていない。 - ただし、mechanistic analysisにより、substructure world modelとnaked-single circuitを同定したと報告している。 - また、end-to-end algorithmic accountを復元できることを示したと述べている。

5. 議論はある?

- 要旨からは不明。 - 議論や限界についての記述はない。 - ただし、創発的world modelのgeometryがドメインのconstraint algebraに形作られること、decision circuitがsparse, monosemantic, fully interpretableであることを主張している。 - より広く、mechanistic interpretability toolsがcombinatorial reasoning taskのend-to-end algorithmic accountを復元できることを示すと述べている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明記されていない。 - 関連手法として、mechanistic interpretability、transformer、Sudoku solving tracesが挙げられる。 - 同分野の定番として、circuit analysisやworld modelに関する研究が考えられるが、要旨からは特定できない。 - 次に読むべき論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Roman Kniazev, Nathanaël Fijalkow

分類: cs.LG, cs.AI

原文アブストラクト

Do transformers, when trained on sequential reasoning traces, build internal models of the underlying task? And if so, does the structure of those internal representations mirror the structure of the domain? We train an 8-layer transformer on Sudoku solving traces and perform a mechanistic analysis of its internal computation. We establish two results. First, the model builds a substructure world model: it does not represent the board state cell by cell, as a human analyst would expect, but organizes information around the rows, columns, and boxes that Sudoku's constraints act on. Second, we identify a naked-single circuit: a small set of dedicated neurons in the final MLP layer, each individually detecting when exactly one digit remains possible for a specific cell, and reliably promoting that digit. These findings show that the geometry of an emergent world model is shaped by the constraint algebra of the domain, not its surface presentation, and that the resulting decision circuit is sparse, monosemantic, and fully interpretable. More broadly, they demonstrate that mechanistic interpretability tools can recover an end-to-end algorithmic account of how a transformer solves a combinatorial reasoning task.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI