日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

金融時系列/世界モデルarXiv:2610.28753

指値注文板のための状態空間基盤モデルの内部機構の解明

Understanding the Inner Workings of a State-Space Foundation Model for Limit Order Books

シェア:XThreadsFacebookLINEはてブBluesky

トークン化した注文メッセージ列で学習したMamba系状態空間モデルが、注文フロー不均衡などの市場微細構造を内部表現として獲得し、因果的に操作可能な世界モデルを形成していることを示した研究。

詳しい要約

1. どんなもの?

- 本研究は、limit order books (LOBs) の message flow を自己回帰的に生成する foundation model が、市場の micro structure について内部で何を学習しているかを解明することを目的とする。 - 対象は、米国大型株8銘柄の token 化された message stream で自己回帰学習された 8.2M parameter の Mamba-3 state-space model。 - ゲームにおける sequence model の board 内部表現と類似して、モデルが市場とその dynamics の内部表現を獲得しているかを検証する。 - 特に order-flow imbalance が内部状態からどの程度 decodable かを評価する。

2. 先行研究と比べてどこがすごい?

- 従来の LOB foundation model 研究は生成性能やシミュレーション能力に注目が集まり、内部機構の理解は限定的だった。 - 本研究は性能評価ではなく、モデルが市場 micro structure の表現を実際に学習しているかを probing により示す点が新しい。 - order-flow imbalance を $R^2 \approx 0.59$ で decode でき、controls や baselines を大きく上回ることを示した。 - 学習した表現が未見の銘柄にも拡張し、ticker 固有の pattern ではなく一般的な表現を学習している可能性を示唆。

3. 技術・手法の肝は?

- token 化された LOB message stream 上で 8.2M parameter の Mamba-3 state-space model を自己回帰的に学習。 - モデルの内部状態から order-flow imbalance を decode する probing を実施し、$R^2$ で評価。 - controls および baselines と比較して表現の情報量を検証。 - 未見銘柄への汎化、traded volume や volatility など他の指標への拡張を検証。 - 内部状態を特徴軸方向に操作する causal steering を行い、次 message の belief が単調に変化するかを確認。

4. どうやって有効だと検証した?

- order-flow imbalance の decodability を $R^2 \approx 0.59$ で示し、controls と baselines を上回ることを確認。 - 学習した表現が未見の銘柄にも拡張することを検証。 - order-flow imbalance だけでなく traded volume や volatility でも同様の結果が得られることを確認。 - causal steering により、特徴軸方向への状態操作が次 message の belief を単調に変化させることを検証。

5. 議論はある?

- 内部表現が world model の出現と整合することを示唆するが、その解釈の一般性や限界については要旨からは不明。 - 実取引環境への実用性や、より大規模なモデル・他資産への拡張性については要旨からは不明。 - probing と steering の結果が因果的機構をどこまで保証するかは要旨からは不明。

6. 次に読むべき論文は?

- Mamba-3 および state-space model に関する原論文。 - LOB の生成モデルに関する先行研究(autoregressive foundation model for LOBs)。 - order-flow imbalance と short-horizon price moves の関係を扱う market microstructure 研究。 - sequence model の内部表現 probing や world model emergence に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Valentin Mohl, Alexandre Bismuth, Aramis Marti-Shahandeh, George Nigmatulin, Kang Li, Stefan Zohren, Jakob Foerster, Mihai Cucuringu, Anisoara Calinescu

分類: q-fin.TR, cs.LG

原文アブストラクト

Autoregressive foundation models offer state-of-the-art capabilities to simulate the market by generating the message flow of limit order books (LOBs). Yet, without understanding their inner workings, research directions are hard to narrow and practical use in real-world trading environments remains uncertain. This study therefore asks what these models actually learn about market microstructure. We find that, similarly to games where sequence models build an internal representation of the board, an 8.2M-parameter Mamba-3 state-space model trained autoregressively on the tokenized message stream of eight large-cap US equities learns an internal representation of the market and its dynamics. In particular, order-flow imbalance, a central driver of short-horizon price moves, is decodable at $R^2 \approx 0.59$, far above controls and baselines. This representation extends to unseen stocks, suggesting that these models learn general representations rather than ticker-specific patterns. The model also generalizes across metrics beyond order-flow imbalance: results hold across traded volume and volatility. Additionally, the representation is causally steerable: pushing the state along a feature's axis shifts the model's next-message beliefs as that feature implies, monotonically in dose, consistent with the emergence of a world model.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI