世界モデル/ナビゲーション2026/5/12arXiv:2605.11367

3D-Belief：生成的3D世界モデリングによる身体化された信念推論

3D-Belief: Embodied Belief Inference via Generative 3D World Modeling

部分観測から3D空間でのエージェントの信念を推定・更新する生成的3D世界モデルを提案し、シミュレーションと実世界の物体ナビゲーションタスクで有効性を示した。

詳しい要約

1. どんなもの？

- 視覚生成モデルの進展を受け、world modelingをembodied belief inferenceとして捉える新視点を提案。 - 部分観測下でagentが未観測の3D世界についてのbeliefを維持・更新することを目指す。 - 具体的に3D-Beliefという生成3D world modelを実装。 - 部分観測から明示的で行動可能な3D beliefを推論し、時間とともにオンライン更新する。 - 不確実性を3Dで直接表現し、もっともらしいscene completionの想像や部分観測環境の推論を可能にする。

2. 先行研究と比べてどこがすごい？

- 既存のworld modelingはnovel-view synthesisやfuture-frame predictionとして扱われ、視覚的リアリズムを重視。 - 部分観測下で行動するembodied agentに必要な構造化された不確実性を軽視していた。 - 3D-Beliefは視覚予測モデルと異なり、不確実性を3Dで直接表現する。 - これにより未観測領域の想像や部分観測環境の推論が可能になる。 - 2D/3D imagination品質と下流のembodiedタスク性能でstate-of-the-artを上回る。

3. 技術・手法の肝は？

- world modelingを3D空間におけるembodied belief inferenceとして定式化。 - 必要な能力として、spatially consistent scene memory、multi-hypothesis belief sampling、sequential belief updating、semantically informed prediction of unseen regionsを同定。 - 3D-Beliefは部分観測から明示的で行動可能な3D beliefを推論。 - 時間とともにオンラインでbeliefを更新する生成3D world model。 - 不確実性を3Dで直接表現し、もっともらしいscene completionを想像可能にする。

4. どうやって有効だと検証した？

- 2D visual qualityによるscene memoryとunobserved-scene imaginationの評価。 - 提案する3D-CORE benchmarkを用いたobject-およびscene-levelの3D imagination評価。 - simulationとreal worldの両方での挑戦的なobject navigationタスク。 - 実験により、3D-Beliefが2D/3D imagination品質と下流embodiedタスク性能をstate-of-the-art手法より改善することを示す。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている具体的な研究は不明。 - 関連手法としてvisual generative models、novel-view synthesis、future-frame prediction、visual prediction modelsが挙げられる。 - 同分野の定番としてworld models、embodied AI、object navigationに関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Yin, Zehao Wen, Suyu Ye, Jieneng Chen, Zehan Zheng, Nanru Dai, Haojun Shi, Aydan Huang, Zheyuan Zhang, Alan Yuille, Jianwen Xie, Ayush Tewari, Tianmin Shu

分類: cs.CV

原文アブストラクト

Recent advances in visual generative models have highlighted the promise of learning generative world models. However, most existing approaches frame world modeling as novel-view synthesis or future-frame prediction, emphasizing visual realism rather than the structured uncertainty required by embodied agents acting under partial observability. In this work, we propose a different perspective: world modeling as embodied belief inference in 3D space. From this view, a world model should not merely render what may be seen, but maintain and update an agent's belief about the unobserved 3D world as new observations are acquired. We identify several key capabilities for such models, including spatially consistent scene memory, multi-hypothesis belief sampling, sequential belief updating, and semantically informed prediction of unseen regions. We instantiate these ideas in 3D-Belief, a generative 3D world model that infers explicit, actionable 3D beliefs from partial observations and updates them online over time. Unlike prior visual prediction models, 3D-Belief represents uncertainty directly in 3D, enabling embodied agents to imagine plausible scene completions and reason over partially observed environments. We evaluate 3D-Belief on 2D visual quality for scene memory and unobserved-scene imagination, object- and scene-level 3D imagination using our proposed 3D-CORE benchmark, and challenging object navigation tasks in both simulation and the real world. Experiments show that 3D-Belief improves 2D and 3D imagination quality and downstream embodied task performance compared to state-of-the-art methods.

arXivで原文を読む →arXiv概要ページ

← 論文一覧