日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成arXiv:2607.06291

AlayaWorld: 長時間・プレイ可能なビデオワールド生成

AlayaWorld: Long-Horizon and Playable Video World Generation

シェア:XThreadsFacebookLINEはてブBluesky

ゲームワールドを自動生成するためのフルスタックのオープンソースフレームワークを提案し、リアルタイムでのインタラクションと多様なアクションを可能にする。

詳しい要約

1. どんなもの?

AlayaWorldは、インタラクティブな生成ワールドを構築するためのフルスタックのオープンソースフレームワークである。ゲームプレイの録画と実世界のビデオの両方でトレーニングされたvideo world modelsを利用し、現在のワールド状態とユーザー操作に基づいて将来の観測を自己回帰的に合成することで、プレイ可能なワールドをオンラインで生成する。ユーザーは自由にナビゲートし、戦闘、呪文詠唱、モンスター召喚などの多様なアクションを実行できる。フレームワークは、データ準備、モデルアーキテクチャ、モデルトレーニング、推論高速化、デプロイメントまでの完全な開発を、モジュール式で拡張可能なアーキテクチャ内で統合する。再現可能なパイプライン、参照実装、評価ツール、包括的なドキュメントも提供する。

2. 先行研究と比べてどこがすごい?

従来のゲームワールドは労働集約的な制作パイプラインで構築され、コストが高く、カスタマイズや変更が困難だった。AlayaWorldは、video world modelsを用いて将来の観測を自己回帰的に合成することで、仮想環境のすべてのコンポーネントを明示的に作成する必要をなくし、プレイ可能なワールドをオンラインで生成する新しいパラダイムを提供する。さらに、フルスタックのオープンソースフレームワークとして、データ準備からデプロイメントまでの全工程を統合し、再現可能なパイプラインと評価ツールを提供する点で、既存の研究やシステムよりも包括的である。

3. 技術・手法の肝は?

手法の肝は、video world modelsを自己回帰的に使用して、現在のワールド状態とユーザー操作に基づいて将来の観測を合成することである。フレームワークは、データ準備、モデルアーキテクチャ、モデルトレーニング、推論高速化、デプロイメントをモジュール式で拡張可能なアーキテクチャに統合する。具体的なモデルアーキテクチャやトレーニング手法の詳細は要旨からは不明だが、ゲームプレイ録画と実世界ビデオの両方でトレーニングすることで、多様な視覚的外観と物理的ダイナミクスを捉える。

4. どうやって有効だと検証した?

要旨からは、AlayaWorldの有効性を検証した具体的な実験や評価方法は不明である。ただし、評価ツールを提供すると述べており、フレームワークの有効性を評価するための手段が含まれていることが示唆される。

5. 議論はある?

要旨からは、AlayaWorldに関する議論や限界についての具体的な記述はない。ただし、ゲームワールド生成のコスト削減やカスタマイズ容易性、実世界ビデオの活用によるembodied intelligenceへの応用可能性などが議論の対象となる可能性がある。

6. 次に読むべき論文は?

要旨で参照されている先行研究や関連手法は明示されていないが、video world modelsに関する研究や、ゲームプレイ録画と実世界ビデオを用いた生成モデルの研究が関連する。具体的には、World ModelsやVideo Generation Models、Game Engine関連の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao

分類: cs.CV, cs.HC

原文アブストラクト

Game worlds have traditionally been built through labor-intensive production pipelines, making them costly to develop, difficult to customization, and expensive to modify after deployment. Recent advances in video world models offer a fundamentally different paradigm. Rather than explicitly authoring every component of a virtual environment, these models autoregressively synthesize future observations conditioned on the current world state and user interactions, enabling playable worlds to be generated online. Trained on both gameplay recordings and real-world videos, they can capture diverse visual appearances and physical dynamics, opening new opportunities for interactive applications beyond gaming, including embodied intelligence. In this paper, we present \textbf{AlayaWorld}, a full-stack open-source framework for building interactive generative worlds. AlayaWorld enables open-ended real-time interaction, allowing users to freely navigate and perform diverse actions such as combat, spell casting, and monster summoning. The framework unifies the complete development-from data preparation model architecture, model training, inference acceleration, and deployment-within a modular and extensible architecture. Alongside the framework, we release reproducible pipelines, reference implementations, evaluation tools, and comprehensive documentation, establishing a practical foundation for future research and real-time applications of generative world models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI