日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/解釈可能性arXiv:2510.18315

埋め込み次元の増大が単純ソートタスクにおける世界モデルを強化する

Higher Embedding Dimension Creates a Stronger World Model for a Simple Sorting Task

シェア:XThreadsFacebookLINEはてブBluesky

強化学習でバブルソート風の隣接交換を学習するTransformerにおいて、埋め込み次元が内部世界モデルの形成に与える影響を調査し、次元が大きいほど構造的で解釈可能な表現が得られることを示した。

詳しい要約

1. どんなもの?

- transformer を reinforcement learning で訓練し、bubble-sort 風の adjacent swap を解かせる研究 - embedding dimension が内部 world model の形成に与える影響を調べる - 小さい embedding dimension でも高精度だが、大きいほど内部表現が忠実・一貫・頑健になる - 数百回の実験から二つの一貫した機構を観察

2. 先行研究と比べてどこがすごい?

- 従来は end performance 中心で、内部 world model の質と model size の関係は定量化が乏しい - embedding dimension を変えつつ内部表現の忠実性・一貫性・robustness・interpretability を測る点が新しい - model size が性能だけでなく表現品質も改善することを定量的に示す - 具体的な先行研究との比較は要旨からは不明

3. 技術・手法の肝は?

- transformer を reinforcement learning で bubble-sort 風 adjacent swap タスクに訓練 - embedding dimension を系統的に変えて内部表現を分析 - 観察機構1: attention weight matrix の最終行が token の global ordering を単調に符号化 - 観察機構2: 選択される transposition が符号化値の最大の adjacent difference と一致 - 評価用の metrics と分析を公開

4. どうやって有効だと検証した?

- 数百回の実験を実施し、二つの機構が一貫して現れることを確認 - 小さい embedding dimension でも高精度が出ることを確認 - 大きい dimension ほど内部表現が忠実・一貫・robust で interpretability が高いと定量評価 - 具体的なデータセットや評価指標の詳細は要旨からは不明

5. 議論はある?

- transformer が構造化された内部 world model を構築する定量的証拠を提示 - model size が end performance に加え表現品質も高めることを主張 - 限界や反例、タスク一般化可能性についての議論は要旨からは不明 - 公開 metrics は類似の algorithmic task の probing に使えると述べる

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 同分野の定番として mechanistic interpretability 研究(例: transformer circuits 系の分析) - algorithmic task を用いた grokking や world model 形成の研究 - in-context learning や induction head に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Brady Bhalla, Honglu Fan, Nancy Chen, Tony Yue YU

分類: cs.LG, cs.AI

原文アブストラクト

We investigate how embedding dimension affects the emergence of an internal "world model" in a transformer trained with reinforcement learning to perform bubble-sort-style adjacent swaps. Models achieve high accuracy even with very small embedding dimensions, but larger dimensions yield more faithful, consistent, and robust internal representations. In particular, higher embedding dimensions strengthen the formation of structured internal representation and lead to better interpretability. After hundreds of experiments, we observe two consistent mechanisms: (1) the last row of the attention weight matrix monotonically encodes the global ordering of tokens; and (2) the selected transposition aligns with the largest adjacent difference of these encoded values. Our results provide quantitative evidence that transformers build structured internal world models and that model size improves representation quality in addition to end performance. We release our metrics and analyses, which can be used to probe similar algorithmic tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI