日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

解釈可能性arXiv:2602.23164

MetaOthello:トランスフォーマーにおける複数世界モデルの制御された研究

MetaOthello: A Controlled Study of Multiple World Models in Transformers

シェア:XThreadsFacebookLINEはてブBluesky

オセロのルールやトークン化を変えた複数変種を混ぜて学習させ、単一のトランスフォーマーが複数の世界モデルを共有表現空間でどう組織するかを調べた。

詳しい要約

1. どんなもの?

- MetaOthello は、共有構文を持つがルールや tokenization が異なる Othello 変種の制御されたスイート - 小規模 GPT を混合変種データで訓練し、複数の world model が共有表現空間でどう組織されるかを調べる - 単一ゲーム・単一ルールに焦点を当てた従来の Othello ニューラルネット実験を拡張するもの

2. 先行研究と比べてどこがすごい?

- 従来の Othello 研究は単一ゲーム・単一ルールのみを扱い、複数の generative process を同時に扱う能力を調べていなかった - 混合ゲームデータで訓練した transformer は容量を孤立した sub-model に分割せず、主に共有された board-state 表現に収束することを示した - ある変種で訓練した linear probe が別変種の内部状態に介入でき、matched probe に近い有効性を持つことを示した

3. 技術・手法の肝は?

- 共有構文だがルールまたは tokenization が異なる Othello 変種群 MetaOthello を構築 - 混合変種データで小規模 GPT を訓練 - linear probe による介入、層ごとの表現分析、直交回転による等価性の検証を実施 - ルールが部分的に重複する場合の層ごとの役割(初期層は game-agnostic、中間層は game identity 特定、後期層は特化)を分析

4. どうやって有効だと検証した?

- 混合ゲームデータで訓練した transformer が孤立した sub-model に分割せず、共有 board-state 表現に収束することを確認 - ある変種で訓練した linear probe が別変種の内部状態に介入し、matched probe に近い有効性を示すことを検証 - token remapping を伴う同型ゲームでは、表現が層をまたいで一般化する単一の直交回転を除いて等価であることを確認 - ルールが部分的に重複する場合の層ごとの表現の役割を分析

5. 議論はある?

- 混合ゲームデータで訓練された transformer が複数の world model をどのように組織するかについての知見を提供 - 共有表現が変種間で因果的に転移することを示す - 同型ゲーム間の表現等価性が単一の直交回転で説明できることを示す - ルールが部分的に重複する場合の層ごとの特化について議論 - 要旨からは、限界や未解決の議論についての明示的な記述は不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Othello playing neural-networks の先行実験 - 関連手法:linear probe、直交回転による表現等価性の分析 - 同分野の定番:mechanistic interpretability、world model learning、transformer の表現分析に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aviral Chawla, Galen Hall, Juniper Lovato

分類: cs.LG

原文アブストラクト

Foundation models must handle multiple generative processes, yet mechanistic interpretability largely studies capabilities in isolation; it remains unclear how a single transformer organizes multiple, potentially conflicting "world models". Previous experiments on Othello playing neural-networks test world-model learning but focus on a single game with a single set of rules. We introduce MetaOthello, a controlled suite of Othello variants with shared syntax but different rules or tokenizations, and train small GPTs on mixed-variant data to study how multiple world models are organized in a shared representation space. We find that transformers trained on mixed-game data do not partition their capacity into isolated sub-models; instead, they converge on a mostly shared board-state representation that transfers causally across variants. Linear probes trained on one variant can intervene on another's internal state with effectiveness approaching that of matched probes. For isomorphic games with token remapping, representations are equivalent up to a single orthogonal rotation that generalizes across layers. When rules partially overlap, early layers maintain game-agnostic representations while a middle layer identifies game identity, and later layers specialize. MetaOthello offers a path toward understanding not just whether transformers learn world models, but how they organize many at once.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  4. 4パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術
  5. 5日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI