日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

創発的表現arXiv:2603.16689

予測統計がグリッド歩行者の創発的環境表現を形成する

Predictive Statistics Shape Emergent World Representations of Grid Walkers

シェア:XThreadsFacebookLINEはてブBluesky

制約付きランダムウォークの最適予測タスクにおいて、トランスフォーマーが十分統計量を抽出し、それを環境の幾何学的表現へと変換することを示した論文。

詳しい要約

1. どんなもの?

- 二次元格子上の制約付きランダムウォークを題材に、次トークン予測モデルが内部に世界表現を形成する過程を解析する研究。 - 固定ステップ数で目標点に到達するウォークのprefixをサンプルし、decoder-only transformerとrecurrent networkを訓練。 - 隠れ活性を予測の十分統計量と比較し、層ごとのalignmentとlinear readabilityを測定。 - transformerの計算が「十分統計量抽出」と「次ステップ予測幾何への変換」の2段階に分かれることを発見。 - 制約条件を変えてもpost-attention表現は共通のworld-stateとして読めることを示す。

2. 先行研究と比べてどこがすごい?

- 次トークン予測器が潜在世界の内部表現を獲得するという報告はあるが、確率分布の幾何と世界構造の関係は未解明だった。 - 本研究は最小確率過程を制御された設定として用い、予測分布の幾何が世界の格子幾何でパラメータ化されることを明確に示す。 - 従来のブラックボックス的なworld model分析に対し、十分統計量とのalignmentとlinear readabilityで定量的に内部表現を評価。 - 制約条件を変えてもpost-attention表現が普遍的であることを示し、アーキテクチャ依存性も明らかにした点が新しい。

3. 技術・手法の肝は?

- 二次元格子上で固定ステップ数後に目標点へ到達する制約付きランダムウォークを定義。 - この過程の最適予測は、ウォーカーの位置と目標との相対関係および残り時間で決まる十分統計量のみに依存。 - 正確な分布からprefixをサンプルし、decoder-only transformerとrecurrent networkを訓練。 - 隠れ活性と十分統計量のalignment、および線形読み出し可能性を層ごとに測定。 - transformerでは最初のattention blockが十分統計量を抽出し、後続層が次ステップ予測幾何へ変換することを特定。

4. どうやって有効だと検証した?

- 正確な分布からサンプルしたprefixでモデルを訓練し、Bayes-optimal lossに到達することを確認。 - 隠れ活性と十分統計量のalignmentおよびlinear readabilityを層ごとに測定し、transformerの2段階計算を実証。 - 制約条件を変えた実験で、post-attention表現が共通のworld-stateとして読めることを検証。 - recurrent networkも同じBayes-optimal lossに到達するが、world-stateを独立段階として分離しないことを比較。

5. 議論はある?

- トイシステムでの結果であり、より複雑な世界や実世界タスクへの一般化は今後の課題。 - 予測分布の幾何がニューラルネットワークのデータ構造内在化を理解する有用なレンズになる可能性を示唆。 - world-model幾何がアーキテクチャに依存することを示し、transformerとrecurrent networkの違いを議論。 - 制約条件の変更に対する普遍性と特化のメカニズムについて考察。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、next-token predictorsのworld representation分析、transformerのmechanistic interpretability、probabilistic graphical models、Bayes-optimal prediction、recurrent networksの比較研究が挙げられる。 - 同分野の定番として、Othello-GPTやworld modelsに関する研究、attentionの機能分析、linear probing手法などが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sasha Brenner, Thomas R. Knösche, Nico Scherf

分類: cs.LG

原文アブストラクト

Next-token predictors often appear to develop internal representations of the latent world and its rules. The probabilistic nature of these models suggests a deep connection between the structure of the world and the geometry of probability distributions. In order to understand this link more precisely, we use a minimal stochastic process as a controlled setting: constrained random walks on a two-dimensional lattice that must reach a fixed endpoint after a predetermined number of steps. Optimal prediction of this process solely depends on a sufficient vector determined by the walker's position relative to the target and the remaining time horizon; in other words, the probability distributions are parametrized by the world's grid geometry. We train decoder-only transformers and recurrent networks on prefixes sampled from the exact distribution of these walks and compare their hidden activations to sufficient statistics of prediction, by measuring alignment and linear readability across layers. We find that the transformer's computation factors into two stages: the first attention block extracts the sufficient statistic from the input, and later layers transform it into the next-step predictive geometry. Across constraint variants the post-attention representation is universal: a shared world-state of the lattice that can be read directly as a world model, traced to the predictive geometry of the data. Later layers then specialize it to each variant's next-step distribution. Recurrent networks reach the same Bayes-optimal loss but do not isolate this world-state as a separate stage, showing that the world-model geometry also depends on architecture. Although demonstrated in a toy system, the results suggest that the geometry of the predictive distribution is a useful lens on how neural networks internalize the structure of their data.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI