SimWorlds: 動的3Dシーン生成のためのマルチエージェントシステム

SimWorldsは、自然言語のテキストから動的な4Dシーン（時間変化する3Dシーン）を生成するマルチエージェントフレームワークである。液体の流れ、パーティクルの放出、剛体の連鎖、関節機構の動作など、物理シミュレーションを伴う動的シーンを、Blenderの手続き的知識を用いて生成する。プランナー・コーダー・レビューアのワークフローと、決定論的検証器による階層的シーン構造の強制、ランタイム状態検査ツールを特徴とする。また、生成された動的シーンの視覚的忠実度と物理的整合性を評価するベンチマーク4DBuildBenchも導入する。

既存のLLMエージェントによるテキストから3Dシーン生成システムは静的出力に焦点を当てており、動的4Dシーンは未開拓である。SimWorldsは、複数の物理ソルバー、時間的順序、カメラ、照明を単一のシーンで協調させるという課題に対処し、レンダリング動画からの動作検証の難しさを、ランタイム状態検査ツールで克服する点が新しい。

手法の肝は、Blender固有の手続き的知識を持つマルチエージェントシステムと、プランナー・コーダー・レビューアのワークフローによる固定順序の構築段階の駆動、決定論的検証器による階層的シーン構造の強制、およびレンダリング画像では検出できない機構の失敗を捉えるランタイム状態検査ツール群である。

4DBuildBenchというベンチマークを導入し、テキストプロンプトから生成された手続き的動的3Dシーンの視覚的忠実度と物理的整合性を評価した。実験により、SimWorldsは既存の動的Blender生成ベースラインを上回る性能を示した。

要旨からは、動的シーン生成の複雑さや検証の難しさが議論されているが、具体的な限界や将来の課題については不明。また、ベンチマークの詳細や比較対象の具体的な内容も要旨からは不明。

要旨で参照されている先行研究は明示されていないが、関連する分野として、LLMエージェントによる静的3Dシーン生成（例：Text-to-3D）、物理シミュレーション、ビデオ生成のための物理基盤データ生成などが挙げられる。具体的には、Blender用の手続き的生成やLLMベースのコード生成に関する研究が関連する。