日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン生成arXiv:2606.14168

MUSE: 記憶に基づく段階的要件充足によるエージェント型3Dシーン作成

MUSE: Agentic 3D Scene Authoring via Memory-Grounded Incremental Requirement Satisfaction

シェア:XThreadsFacebookLINEはてブBluesky

テキストから3Dシーンを生成・編集する際に、既存のシーンを保ちながら要件を段階的に満たすマルチエージェントフレームワークMUSEを提案し、要件レベルの制御と保存を評価するベンチマークも導入した。

詳しい要約

1. どんなもの?

- テキスト指示による3Dシーン生成・編集を統合した枠組み - 既存シーンの非対象部分を保持しつつ、要求単位で段階的に修正・拡張 - MUSE: Architect, Sculptor, Inspector からなるマルチエージェント - Working/Scene/Skill Memory を更新しながら要件充足を進める - AuthorBench を提案し、構築145件と編集1,584件で評価

2. 先行研究と比べてどこがすごい?

- 既存手法は現実的で構造的に妥当なシーンを生成できるが、編集可能性と要求レベルの状態追跡が不足 - 部分的な失敗でシーン全体の再生成や手動介入が必要になる問題を緩和 - 構築と編集を incremental requirement satisfaction として統合 - 最強ベースライン比で All-Goal 成功 37.9→80.7、表面制約充足 35.0→92.6 - 編集分割で All-Goal 49.6、保持率 99.9、意図しない変更率 0.6 を達成

3. 技術・手法の肝は?

- 制御可能な3Dシーンオーサリングを incremental requirement satisfaction として定式化 - Architect が指示を構造化された要件にコンパイル - Sculptor が局所的なシーン操作を実行 - Inspector が各ステップを検証し、Working/Scene/Skill Memory を更新 - 記憶に基づくマルチエージェント設計で要求単位の追跡と保持を実現

4. どうやって有効だと検証した?

- AuthorBench を導入: 制約付き構築145件、保持考慮編集1,584件、外部構造チェック付き - 全構築ケースで All-Goal 成功と表面制約充足を最強ベースラインと比較 - 層化した240件の編集テスト分割で All-Goal、保持率、意図しない変更率を評価 - 人間評価で局所編集ベースラインと比較し、ユーザ意図との整合性を確認 - 下流の navigation-proxy テストで空間安定性を検証 - アブレーションで記憶設計の有効性を検証

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は要旨に記載なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として text-driven 3D scene generation、embodied AI simulation、interactive design の既存研究 - 同分野の定番として 3D scene graph、NeRF、Gaussian Splatting などの一般名を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruijie Xu, Xinnan Zhu, Jiayu Ying, Daoguo Dong, Yuzhou Ji, Xin Tan

分類: cs.CV

原文アブストラクト

Text-driven 3D scene generation is a promising technique for digital content creation, embodied AI simulation, and interactive design, yet practical workflows often require refining, extending, or correcting existing scenes while preserving non-target content. Existing methods can produce realistic and structurally plausible scenes, but they generally lack editability with requirement-level state tracking, so part-level failures often lead to full-scene regeneration or manual intervention. To tackle this challenge, we formulate controllable 3D scene authoring as incremental requirement satisfaction, unifying construction and editing. In this paper, we present MUSE, a memory-grounded multi-agent framework in which an Architect compiles instructions into structured requirements, a Sculptor executes local scene operations, and an Inspector verifies each step while updating Working, Scene, and Skill Memory. To evaluate requirement-level controllability and preservation-aware editing, we introduce AuthorBench, offering 145 constrained construction cases and a 1,584-case preservation-aware editing pool paired with external structured checks. On full construction cases, MUSE improves All-Goal success from 37.9 to 80.7 and surface-constraint fulfillment from 35.0 to 92.6 over the strongest baseline. On a stratified 240-case editing test split, MUSE achieves 49.6 All-Goal success, 99.9 preservation rate, and only 0.6 unintended change rate. Beyond automated metrics, human evaluations on compared local-editing baselines support stronger alignment with user intent, and downstream navigation-proxy tests indicate stronger spatial stability. Combined with ablations validating our memory designs, these results establish MUSE as an effective framework for controllable 3D scene authoring.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI