日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.17600

GWM: ロボットマニピュレーションのためのスケーラブルなガウス世界モデル

GWM: Towards Scalable Gaussian World Models for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のためのガウス世界モデル(GWM)を提案し、ガウスプリミティブの伝播を予測して将来状態を再構成することで、模倣学習とモデルベース強化学習を支援する。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの新しいworld model「Gaussian World Model (GWM)」 - 未来状態をGaussian primitivesの伝播として推論・再構成する - 画像ベースではなく3D幾何情報を扱う点が特徴 - 用途は2つ - imitation learning agentの視覚表現強化(自己教師あり未来予測) - model-based reinforcement learningのためのneural simulator - 実世界・シミュレーション両方で将来シーンの予測とpolicy学習に利用

2. 先行研究と比べてどこがすごい?

- 従来のimage-based world modelやpolicyはinternet-scale videoで事前学習しても3D世界の空間・物理理解が乏しい - GWMはGaussian Splattingによりシーンを3D表現として扱い、幾何情報を保持 - 未来状態をGaussian primitivesの伝播として再構成する点が既存手法と異なる - 予測を自己教師あり学習に使い、imitation learningの視覚表現を強化できる - neural simulatorとしてmodel-based RLにも供用可能 - 実験ではstate-of-the-artを大きな差で上回るpolicyを学習し、3D world modelのdata scaling可能性を示唆

3. 技術・手法の肝は?

- 中核はlatent Diffusion Transformer (DiT) と3D variational autoencoderの組み合わせ - Gaussian SplattingによりシーンをGaussian primitivesとして表現 - robot actionsを条件にGaussian primitivesの伝播を推論し、未来状態を再構成 - 細粒度のscene-level未来状態再構成を実現 - 自己教師あり未来予測訓練でimitation learning agentの視覚表現を強化 - neural simulatorとしてmodel-based RLに利用可能

4. どうやって有効だと検証した?

- simulatedおよびreal-worldの両方で実験 - 多様なrobot actionsを条件に未来シーンを精密に予測できることを確認 - 学習したpolicyがstate-of-the-artを大きな差で上回ることを示す - 3D world modelの初期のdata scaling potentialを示唆 - 具体的なデータセット名・評価指標・ベースライン名は要旨からは不明

5. 議論はある?

- 3D world modelのdata scaling可能性に言及 - 画像ベース手法の幾何情報不足を動機としており、3D表現の有効性を主張 - 限界・失敗ケース・計算コスト・実世界適用範囲の詳細は要旨からは不明 - 比較対象の具体的なstate-of-the-art手法名は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてimage-based world model、Diffusion Transformer (DiT)、3D variational autoencoder、Gaussian Splatting、model-based reinforcement learning、imitation learningの代表的文献を次に読む候補とする - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guanxing Lu, Baoxiong Jia, Puhao Li, Yixin Chen, Ziwei Wang, Yansong Tang, Siyuan Huang

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Training robot policies within a learned world model is trending due to the inefficiency of real-world interactions. The established image-based world models and policies have shown prior success, but lack robust geometric information that requires consistent spatial and physical understanding of the three-dimensional world, even pre-trained on internet-scale video sources. To this end, we propose a novel branch of world model named Gaussian World Model (GWM) for robotic manipulation, which reconstructs the future state by inferring the propagation of Gaussian primitives under the effect of robot actions. At its core is a latent Diffusion Transformer (DiT) combined with a 3D variational autoencoder, enabling fine-grained scene-level future state reconstruction with Gaussian Splatting. GWM can not only enhance the visual representation for imitation learning agent by self-supervised future prediction training, but can serve as a neural simulator that supports model-based reinforcement learning. Both simulated and real-world experiments depict that GWM can precisely predict future scenes conditioned on diverse robot actions, and can be further utilized to train policies that outperform the state-of-the-art by impressive margins, showcasing the initial data scaling potential of 3D world model.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI