日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

時系列基盤モデルarXiv:2610.05240

Pythia: マルチモーダル時系列のための基盤ワールドモデル

Pythia: Toward Foundation World Models for Multimodal Time Series

シェア:XThreadsFacebookLINEはてブBluesky

テキスト文脈や補助観測を活用し、データセットをまたいで文脈条件付き潜在ダイナミクスを学習する時系列基盤ワールドモデルを提案。予測表現学習と確率的デコーダを分離し、MUSEベンチマークで誤差を削減した。

詳しい要約

1. どんなもの?

Pythiaは、異種ドメインの時系列予測を統一的に扱うfoundation world model。 - テキスト文脈や補助観測を活用し、データセット横断でcontext-conditioned latent dynamicsを学習。 - joint-embedding predictive architectureを採用。 - 予測表現学習と観測空間のforecastingを分離。 - MUSEで評価し、Pythia-TinyがMASE 0.6879、WSQL 0.4269を達成。

2. 先行研究と比べてどこがすごい?

既存の時系列foundation modelはテキスト文脈や補助観測の再利用可能なマルチモーダル予測表現が未探索だった。 - Pythiaはworld modelとしてcontext-conditioned latent dynamicsを学習。 - MUSE leaderboardの最強モデルと比べMASEを6.26%、WSQLを5.00%削減。 - 予測表現学習と確率的readoutを分離する設計を支持。

3. 技術・手法の肝は?

joint-embedding predictive architectureで潜在ダイナミクスを学習。 - stop-gradient numerical referenceが予測未来状態への文脈補正を導く。 - 別のprobabilistic decoderが凍結予測表現と観測履歴に適応。 - world-model pretrainingとobservation-space forecastingを分離。 - entity descriptions、events、covariatesのマルチモーダル情報を統合。

4. どうやって有効だと検証した?

MUSEで評価。 - Pythia-TinyのMASE 0.6879、WSQL 0.4269を報告。 - 公開MUSE leaderboardの最強モデルに対しMASE 6.26%、WSQL 5.00%の誤差削減。 - 一連のcontrolled experimentsでshared pretrainingによるworld model設計とjoint-embedding predictive learningのマルチモーダル統合を検証。 - entity descriptions、events、covariatesの相補的寄与を示す。

5. 議論はある?

予測表現学習と確率的readoutの分離を支持する結果。 - entity descriptions、events、covariatesが相補的に寄与することを示す。 - ただし、限界や失敗事例、計算コスト、他ドメインへの一般化については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究はMUSE leaderboardの最強モデル。 - 関連手法としてjoint-embedding predictive architecture、foundation world model、time-series foundation modelが挙げられる。 - 具体的な論文名は要旨からは不明。 - 同分野の定番としてtime-series foundation model、multimodal time series forecasting、world modelの文献を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xilin Dai, Hongzhou Chen, Yifan Hu, Yiding Liu, Zewei Dong, Jiang-Ming Yang

分類: cs.LG, cs.AI

原文アブストラクト

Time-series foundation models offer a unified approach to forecasting across heterogeneous domains. Textual context and auxiliary observations provide complementary information about temporal dynamics, yet reusable multimodal predictive representations remain underexplored. We introduce Pythia, a foundation world model that learns context-conditioned latent dynamics across datasets through a joint-embedding predictive architecture. A stop-gradient numerical reference guides contextual corrections to predicted future states. A separate probabilistic decoder then adapts to the frozen predictive representation and observed history, decoupling world-model pretraining from observation-space forecasting. On MUSE, Pythia-Tiny's normalized mean absolute scaled error (MASE) and weighted sum quantile loss (WSQL) are 0.6879 and 0.4269, reducing errors by 6.26% and 5.00% relative to the strongest model evaluated in the published MUSE leaderboard. Through a series of controlled experiments, we investigate how to design a time-series world model through shared pretraining and how joint-embedding predictive learning can incorporate multimodal information. The results support separating predictive representation learning from probabilistic readout and show complementary contributions from entity descriptions, events, and covariates.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI