SceneFoundry: インタラクティブな無限3D世界の生成

- 言語ガイド付きのdiffusionフレームワーク「SceneFoundry」を提案。 - アパート規模の3D世界を生成し、関節付き家具（articulated furniture）や意味的に多様なレイアウトを含む。 - ロボット学習やembodied intelligenceのためのインタラクティブで物理的に現実的な環境を自動生成する。 - 自然言語プロンプトから、LLMモジュールがフロアレイアウトを制御し、diffusion-based posterior samplingが大規模3Dリポジトリから関節付きアセットを効率的に配置する。

- 既存の生成手法は、操作やナビゲーションに不可欠な可動部を持つ関節付きオブジェクトを含む、実世界の内部空間の機能的複雑さを捉えられないことが多い。 - SceneFoundryは、関節付き家具と意味的に多様なレイアウトを備えたアパート規模の3D世界を生成できる点で優れている。 - 物理的利用可能性を確保するため、微分可能なガイダンス関数を導入し、オブジェクト数、関節の衝突防止、ロボットナビゲーションのための十分な歩行可能空間を調整する。

- 言語ガイド付きdiffusionフレームワーク。 - LLMモジュールがフロアレイアウト生成を制御。 - diffusion-based posterior samplingにより、大規模3Dリポジトリから関節付きアセットを効率的に配置。 - 微分可能なガイダンス関数を用いて、オブジェクトの数量調整、関節の衝突防止、十分な歩行可能空間の維持を実現。

- 広範な実験により、多様なシーンタイプと条件で、構造的に妥当で、意味的に一貫性があり、機能的にインタラクティブな環境を生成できることを実証。 - スケーラブルなembodied AI研究を可能にすることを示した。

- 要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、diffusion models、LLM-based layout generation、articulated object datasets（例：PartNet、SAPIEN）などが挙げられる。