ワールドマシン：時系列のための生成的ワールドモデリングに向けて
World Machine: Towards Generative World Modeling for Time-Series
時系列データのための生成的ワールドモデルを提案し、潜在状態を持つトランスフォーマーアーキテクチャにより、観測データ量や文脈に適応できることを示した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Elton Cardoso do Nascimento, Alexandre da Silva Simões, Esther Luna Colombini, Ricardo Ribeiro Gudwin, Paula Dornhofer Paro Costa
分類: cs.LG
原文アブストラクト
World models represent a paradigm shift in generative AI, pursuing predictive understanding and controllable simulation of environments in a structured and generalizable way. We present World Machine, a generative world-modeling architecture for time series. It is a transformer-based architecture with latent states that enables adaptation to different amounts of observed data and contexts. This shows an improvement over traditional transformers, which have a computational and memory cost that scales quadratically with the context. Experiments on a proposed synthetic dataset, Toy1D, validate the approach's feasibility, demonstrate capabilities not found in conventional transformers, and highlight the contributions of each component of the training protocol.
関連論文
- 連続的な系列間モデリングのための階層的状態空間モデル時系列モデリング
- 混合モデルによる連続時系列の解析・編集・合成時系列モデリング
- 線形時相論理の知識を深層系列モデルに埋め込む手法時系列モデリング
