日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/マルチエージェントarXiv:2604.02330

ActionParty: 生成ビデオゲームにおけるマルチサブジェクト行動バインド

ActionParty: Multi-Subject Action Binding in Generative Video Games

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ拡散モデルで複数のエージェントを同時に制御するための世界モデルを提案し、各被写体の状態トークンを導入して行動と被写体の対応を明確化した。Melting Potベンチマークで最大7プレイヤーを同時制御できる初のビデオ世界モデルを実証した。

詳しい要約

1. どんなもの?

- ビデオ拡散モデルを用いた生成ビデオゲームのためのマルチサブジェクト世界モデル。 - 複数のエージェントを同時に制御可能。 - アクションとサブジェクトの対応付け(action binding)問題を解決。 - 最大7プレイヤーを46環境で制御。

2. 先行研究と比べてどこがすごい?

- 従来のビデオ拡散世界モデルは単一エージェント設定に限定。 - 複数エージェントの同時制御が困難。 - アクションとサブジェクトの関連付けが不十分。 - ActionPartyはこれらを克服し、マルチエージェント制御を実現。

3. 技術・手法の肝は?

- サブジェクト状態トークン(subject state tokens)を導入。 - 各サブジェクトの状態を永続的に捉える潜在変数。 - 状態トークンとビデオ潜在変数を空間バイアス機構で共同モデリング。 - グローバルなビデオフレームレンダリングと個別のアクション制御サブジェクト更新を分離。

4. どうやって有効だと検証した?

- Melting Potベンチマークで評価。 - 46の多様な環境で最大7プレイヤーを同時制御。 - アクション追従精度とアイデンティティ一貫性が大幅に向上。 - 複雑な相互作用を通じたロバストな自己回帰的追跡を実現。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Melting Potベンチマークに関連する研究。 - ビデオ拡散モデルを用いた世界モデル(例:Genie, UniSimなど)。 - マルチエージェント強化学習の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alexander Pondaven, Ziyi Wu, Igor Gilitschenski, Philip Torr, Sergey Tulyakov, Fabio Pizzati, Aliaksandr Siarohin

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Recent advances in video diffusion have enabled the development of "world models" capable of simulating interactive environments. However, these models are largely restricted to single-agent settings, failing to control multiple agents simultaneously in a scene. In this work, we tackle a fundamental issue of action binding in existing video diffusion models, which struggle to associate specific actions with their corresponding subjects. For this purpose, we propose ActionParty, an action controllable multi-subject world model for generative video games. It introduces subject state tokens, i.e. latent variables that persistently capture the state of each subject in the scene. By jointly modeling state tokens and video latents with a spatial biasing mechanism, we disentangle global video frame rendering from individual action-controlled subject updates. We evaluate ActionParty on the Melting Pot benchmark, demonstrating the first video world model capable of controlling up to seven players simultaneously across 46 diverse environments. Our results show significant improvements in action-following accuracy and identity consistency, while enabling robust autoregressive tracking of subjects through complex interactions.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI