WorldDiT: 世界モデルと行動生成を統合する拡散アーキテクチャ
WorldDiT: A Unified Diffusion Architecture for World and Action Modeling
大規模な事前学習済みVLMを使わずに、単一の拡散トランスフォーマーが行動生成と未来フレームの視覚予測を同時に行うロボットポリシーを提案し、LIBEROベンチマークでパラメータ数と成功率のトレードオフが良好であることを示した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Sen Wang, R. Gnana Praveen, Bidhan Roy, Marcos Villagra
分類: cs.LG, cs.RO
原文アブストラクト
Many recent robot policies pursue stronger control by using large pretrained vision-language models (VLMs) as the action backbone. We introduce WorldDiT, a unified diffusion transformer architecture that couples action generation with visual world modeling and achieves strong performance without a large pretrained VLM action backbone. During training, a single diffusion transformer generates continuous action chunks and predicts normalized RGB patch targets from future camera frames. Across four LIBERO simulation suites, WorldDiT lies on the reported Pareto frontier for total model parameters and mean success among methods reporting all four suites. These results provide a strong sub-billion-parameter baseline for future scaling studies.
