日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2509.15536

SAMPO: 運動プロンプトを用いたスケールワイズ自己回帰による生成的世界モデル

SAMPO:Scale-wise Autoregression with Motion PrOmpt for generative world models

シェア:XThreadsFacebookLINEはてブBluesky

フレーム内生成に視覚自己回帰、次フレーム生成に因果モデリングを組み合わせ、運動プロンプトで時空間的手がかりを注入する世界モデルを提案。

詳しい要約

1. どんなもの?

- 生成的世界モデルのための新フレームワーク SAMPO を提案 - 視覚の自己回帰モデリングと次フレーム予測の因果モデリングを組み合わせた hybrid 構成 - 目的は action-conditioned な video prediction と model-based control - 空間構造の保持、デコード効率、motion modeling の改善を狙う

2. 先行研究と比べてどこがすごい?

- 既存の autoregressive world models は空間構造の崩れ、非効率な decoding、不十分な motion modeling に課題 - SAMPO は intra-frame 生成に visual autoregressive modeling、next-frame 生成に causal modeling を併用 - 各 scale 内で parallel decoding を可能にし、rollout 効率を改善 - 報告では inference が 4.4× 高速化

3. 技術・手法の肝は?

- temporal causal decoding と bidirectional spatial attention を統合 - これにより spatial locality を保ちつつ scale 内の並列 decoding を実現 - asymmetric multi-scale tokenizer を導入 - 観測フレームでは空間詳細を保持 - 未来フレームでは compact な dynamic representation を抽出 - trajectory-aware motion prompt module を追加 - 物体・robot の trajectory に関する spatiotemporal cue を注入 - 動的領域に attention を集中

4. どうやって有効だと検証した?

- action-conditioned video prediction と model-based control で実験 - 生成品質が competitive で、inference が 4.4× 高速と報告 - zero-shot generalization と scaling behavior も評価 - 未見タスクへの汎化と、より大きな model size による改善を示す

5. 議論はある?

- 要旨からは不明 - 想定される論点は hybrid 構成の複雑さ、asymmetric tokenizer の設計依存、motion prompt の一般性などだが、要旨には明記なし

6. 次に読むべき論文は?

- 比較対象として明示された先行研究は要旨からは不明 - 関連手法として visual autoregressive modeling、causal world models、multi-scale tokenizer、motion prompt を用いた video prediction の代表的論文を挙げるのが妥当

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sen Wang, Jingyi Tian, Le Wang, Zhimin Liao, Jiayi Li, Huaiyi Dong, Kun Xia, Sanping Zhou, Wei Tang, Hua Gang

分類: cs.CV, cs.RO

原文アブストラクト

World models allow agents to simulate the consequences of actions in imagined environments for planning, control, and long-horizon decision-making. However, existing autoregressive world models struggle with visually coherent predictions due to disrupted spatial structure, inefficient decoding, and inadequate motion modeling. In response, we propose \textbf{S}cale-wise \textbf{A}utoregression with \textbf{M}otion \textbf{P}r\textbf{O}mpt (\textbf{SAMPO}), a hybrid framework that combines visual autoregressive modeling for intra-frame generation with causal modeling for next-frame generation. Specifically, SAMPO integrates temporal causal decoding with bidirectional spatial attention, which preserves spatial locality and supports parallel decoding within each scale. This design significantly enhances both temporal consistency and rollout efficiency. To further improve dynamic scene understanding, we devise an asymmetric multi-scale tokenizer that preserves spatial details in observed frames and extracts compact dynamic representations for future frames, optimizing both memory usage and model performance. Additionally, we introduce a trajectory-aware motion prompt module that injects spatiotemporal cues about object and robot trajectories, focusing attention on dynamic regions and improving temporal consistency and physical realism. Extensive experiments show that SAMPO achieves competitive performance in action-conditioned video prediction and model-based control, improving generation quality with 4.4$\times$ faster inference. We also evaluate SAMPO's zero-shot generalization and scaling behavior, demonstrating its ability to generalize to unseen tasks and benefit from larger model sizes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI