日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン生成arXiv:2509.20414

SceneWeaver: 拡張可能な自己反省型エージェントによるオールインワン3Dシーン合成

SceneWeaver: All-in-One 3D Scene Synthesis with an Extensible and Self-Reflective Agent

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルベースのプランナーが多様なシーン生成ツールを選択し、自己評価と反復的な改善を通じて物理的・視覚的・意味的に整合した3D屋内シーンを合成するフレームワークを提案。

詳しい要約

1. どんなもの?

- 屋内3Dシーン合成のためのreflective agentic framework「SceneWeaver」 - 言語モデルベースのplannerが拡張可能なツール群を選択し、反復的にシーンを精緻化 - 物理的妥当性・視覚的リアリズム・ユーザ入力との意味的整合性を自己評価 - Embodied AI向けの多様で物理的に妥当な3D環境生成を目指す

2. 先行研究と比べてどこがすごい?

- 従来手法は固定シーンカテゴリに制約され、物体レベルの詳細や物理的一貫性が不十分 - 複雑なユーザ指示への整合が困難だった - SceneWeaverはツールベースの反復精緻化で多様な合成パラダイムを統合 - 物理・視覚・意味の各指標で先行手法を上回り、open-vocabularyなroom typeにも汎化

3. 技術・手法の肝は?

- 言語モデルベースのplannerが拡張可能なシーン生成ツール群を選択 - ツールはdata-driven generative modelsからvisual-およびLLM-based手法まで多様 - 自己評価(物理的妥当性・視覚的リアリズム・意味的整合性)に基づきツールを起動 - closed-loopなreason-act-reflect設計で意味的不整合を特定し環境を更新

4. どうやって有効だと検証した?

- 一般的なroom typeとopen-vocabularyなroom typeの両方で広範な実験 - 物理・視覚・意味の各metricsで先行手法と比較 - 多様な指示を含む複雑なシーンへの汎化を評価 - 詳細な実験設定・データセットは要旨からは不明

5. 議論はある?

- 物理的妥当性・視覚的リアリズム・意味的整合性の自己評価に依存する設計 - ツール選択の反復プロセスの計算コストや収束性に関する議論は要旨からは不明 - 汎用3D環境生成への一歩と位置づけているが限界の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究名は明示されていない - 関連手法としてdata-driven generative models、visual-based手法、LLM-based手法 - 同分野の定番として屋内シーン合成のdata-driven手法やEmbodied AI向け3D環境生成研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yandan Yang, Baoxiong Jia, Shujie Zhang, Siyuan Huang

分類: cs.GR, cs.CV, cs.LG, cs.RO

原文アブストラクト

Indoor scene synthesis has become increasingly important with the rise of Embodied AI, which requires 3D environments that are not only visually realistic but also physically plausible and functionally diverse. While recent approaches have advanced visual fidelity, they often remain constrained to fixed scene categories, lack sufficient object-level detail and physical consistency, and struggle to align with complex user instructions. In this work, we present SceneWeaver, a reflective agentic framework that unifies diverse scene synthesis paradigms through tool-based iterative refinement. At its core, SceneWeaver employs a language model-based planner to select from a suite of extensible scene generation tools, ranging from data-driven generative models to visual- and LLM-based methods, guided by self-evaluation of physical plausibility, visual realism, and semantic alignment with user input. This closed-loop reason-act-reflect design enables the agent to identify semantic inconsistencies, invoke targeted tools, and update the environment over successive iterations. Extensive experiments on both common and open-vocabulary room types demonstrate that SceneWeaver not only outperforms prior methods on physical, visual, and semantic metrics, but also generalizes effectively to complex scenes with diverse instructions, marking a step toward general-purpose 3D environment generation. Project website: https://scene-weaver.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI