GaussianDream: ロボット操作のためのフィードフォワード3Dガウス世界モデル

本論文は、ロボティクス操作のための feed-forward 3D Gaussian world-model plug-in である GaussianDream を提案する。VLA ポリシーに 3D 空間情報と将来の環境変化を組み込むことを目的とする。エンコーダに learnable GaussianDream Queries を導入し、現フレームの 3D 構造と短期将来の進化を捉える。推論時には補助ヘッドを捨て、学習済み prefix のみで行動生成を条件付ける。LIBERO で 98.4%、RoboCasa Human-50 で 54.8%、実機タスクで 50.0% を達成した。

従来の VLA ポリシーは言語条件付き操作を進展させたが、action-imitation learning は明示的な 3D 空間情報、密な幾何 supervision、将来の環境進化のモデリングが不十分であった。GaussianDream はこれらを補う。既存の 3D-enhanced VLA 手法と比べ、高い精度を保ちつつ、video-based world-model 手法より推論効率が高い点が優れる。

エンコーダに learnable GaussianDream Queries を導入し、現フレームの 3D 空間構造と短期将来の進化を捉える。学習時、latent GaussianDream prefix を static reconstruction head と future prediction head で処理し、現在の 3D Gaussian scene states と将来の Gaussian evolution states を生成する。現在分岐は RGB rendering と depth で、将来分岐は future RGB、depth、pseudo 3D scene-flow 信号で監督する。推論時は補助ヘッドを破棄し、学習済み prefix のみを保持して行動生成を条件付ける。test-time の Gaussian reconstruction や future prediction は不要。

複数のロボティクス操作ベンチマークで評価し、LIBERO で 98.4%、RoboCasa Human-50 で 54.8%、実機タスクで 50.0% を達成した。これにより state-of-the-art 性能を示した。

既存の 3D-enhanced VLA 手法と比較して、GaussianDream は高い精度を提供しつつ、video-based world-model 手法より高い推論効率を実現する。ただし、要旨からは限界や失敗事例、計算コストの詳細は不明。

要旨で参照・比較されている研究として、VLA ポリシー、action-imitation learning、3D-enhanced VLA 手法、video-based world-model アプローチが挙げられる。具体的な論文名は要旨からは不明。同分野の定番として、RT-1、RT-2、Diffusion Policy、LIBERO ベンチマーク関連研究が次に読む候補となる。