日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

状態追跡arXiv:2605.30100

チェスワールドモデル:チェスの手順からの正確な状態追跡のための1000万ゲームベンチマーク

Chess-World-Model: A 10M-Game Benchmark for Exact State Tracking from Chess Move Sequences

シェア:XThreadsFacebookLINEはてブBluesky

実際のチェスの手順から到達する盤面状態を正確に予測する大規模ベンチマークを構築し、Transformerとリカレントモデルの状態追跡能力を比較した。

詳しい要約

1. どんなもの?

- 10 million の実 chess games から構築した大規模 state-tracking benchmark。 - 合法手列の後に到達する正確な board state を予測させる。 - held-out real-game split と、uniformly random legal play による out-of-distribution split を含む。 - causal Transformer、block-diagonal SLiCE、Mamba-3、Gated DeltaNet を同一 interface・training protocol で比較。

2. 先行研究と比べてどこがすごい?

- 既存 benchmark は synthetic または language-based が多く、現実領域での structured state updates のテストとして不十分。 - 本 benchmark は 10 million の実 chess games に基づき、realistic な state tracking を評価。 - random-uniform split により、頻出局面からの shortcut ではなく transition rules の学習を検証できる。 - 理論・実証研究で知られる Transformer の state-tracking 困難性を、大規模かつ現実的設定で再確認・可視化。

3. 技術・手法の肝は?

- 合法手列から到達 board state を予測する exact state tracking タスクを定義。 - real-game split と uniformly random legal play の OOD split を用意。 - causal Transformer、block-diagonal SLiCE、Mamba-3、Gated DeltaNet with negative eigenvalues を matched interface・training protocol で比較。 - 3M・8M・18M・40M parameters で scale 依存性を評価。 - state-transition mechanism の表現力を ablate し、OOD split への影響を検証。

4. どうやって有効だと検証した?

- 3M と 8M parameters で recurrent models が Transformer を大きく上回る。 - real-game performance は 18M parameters 超で飽和。 - random-uniform split は 40M parameters まで識別力を持ち、scale では隠れる失敗を露呈。 - 3 つの recurrent models すべてで、表現力の低い state-transition mechanism が OOD split の性能を低下させることを ablation で確認。

5. 議論はある?

- real-game split は 18M parameters 超で飽和するため、scale だけでは state-tracking 能力を評価しきれない。 - random-uniform split は 40M parameters まで有効で、scale では隠れる失敗を明らかにする。 - 表現力の高い state-transition matrices が OOD 性能に重要であることが示唆される。 - 要旨からは、他の benchmark との直接比較や計算コスト・学習効率の議論は不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究: Transformer の state-tracking 困難性に関する理論・実証研究、input-dependent linear RNNs、block-diagonal SLiCE、Mamba-3、Gated DeltaNet。 - 同分野の定番として、state-space models (S4, Mamba)、linear RNNs、Transformer の length generalization 研究も次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Benjamin Walker, Terry Lyons

分類: cs.LG

原文アブストラクト

World models require state tracking, which is the ability to maintain a correct latent state across action sequences. Existing benchmarks are often synthetic or language-based, limiting their value as tests of structured state updates in realistic domains. We introduce Chess-World-Model, a large-scale state-tracking benchmark built from 10 million real chess games, where models predict the exact board state reached after a sequence of legal moves. Alongside a held-out real-game split, we include an out-of-distribution split from uniformly random legal play, which tests whether models learn the transition rules rather than shortcuts from common human positions. Prior theoretical and empirical work has shown that Transformers struggle to state-track, while input-dependent linear RNNs require expressive state-transition matrices to do so. We therefore benchmark a causal Transformer, block-diagonal SLiCE, Mamba-3, and Gated DeltaNet with negative eigenvalues under a matched interface and training protocol. The recurrent models strongly outperform the Transformer at 3 and 8 million parameters. Real-game performance saturates above 18 million parameters, but the random-uniform split remains discriminative up to 40 million, exposing failures otherwise hidden by scale. Additionally, ablations show that less expressive state-transition mechanisms reduce performance on the out-of-distribution split for all three recurrent models. Together, these results establish Chess-World-Model as a practical large-scale benchmark for state tracking that exposes failures model scale would otherwise conceal.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI