日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2602.09153

SceneSmith: エージェントによるシミュレーション可能な屋内シーン生成

SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes

シェア:XThreadsFacebookLINEはてブBluesky

VLMエージェントが協調して自然言語から家具や小物まで揃った物理シミュレーション可能な屋内シーンを自動生成するフレームワーク。

詳しい要約

1. どんなもの?

- 自然言語プロンプトからシミュレーション可能な屋内シーンを生成する階層的エージェントフレームワーク SceneSmith を提案。 - 建築レイアウト、家具配置、小物配置の段階を経て、VLM エージェント(designer, critic, orchestrator)の相互作用で構築。 - 静的物体は text-to-3D 合成、関節物体はデータセット検索、物理特性推定を統合。 - 先行手法より 3-6 倍多くの物体を生成し、物体間衝突 <2%、物理シミュレーション下で 96% の物体が安定。 - 205 名のユーザー研究で平均リアリズム 92%、プロンプト忠実性 91% の勝率。 - 自動ロボットポリシー評価のエンドツーエンドパイプラインに利用可能。

2. 先行研究と比べてどこがすごい?

- 既存のシーン合成手法は家具が疎で、密集した clutter、関節家具、物理特性が不足。 - SceneSmith は 3-6 倍多くの物体を生成し、<2% の物体間衝突と 96% の物理安定性を達成。 - ユーザー研究で平均リアリズム 92%、プロンプト忠実性 91% の勝率をベースラインに対して示す。 - シミュレーション準備済み環境を自動生成し、ロボットポリシー評価に直接利用できる点が新しい。

3. 技術・手法の肝は?

- 階層的エージェントフレームワーク:建築レイアウト→家具配置→小物配置の段階的構築。 - 各段階で VLM エージェント(designer, critic, orchestrator)が相互作用。 - 静的物体は text-to-3D 合成、関節物体はデータセット検索、物理特性推定を統合。 - 自然言語プロンプトからシミュレーション可能なシーンを生成。

4. どうやって有効だと検証した?

- 生成シーンの物体数、物体間衝突率、物理シミュレーション下での安定性を定量評価。 - 205 名参加のユーザー研究でリアリズムとプロンプト忠実性の勝率をベースラインと比較。 - 自動ロボットポリシー評価のエンドツーエンドパイプラインで利用可能なことを実証。

5. 議論はある?

- 要旨からは不明(限界や議論の詳細は記載なし)。 - ただし、生成シーンの多様性や物理的複雑さの向上、ロボットポリシー評価への応用可能性が示唆される。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、text-to-3D synthesis、VLM agents、関節物体のデータセット検索、物理特性推定、ロボットポリシー評価パイプラインが挙げられる。 - 同分野の定番として、シミュレーション環境生成(例:ProcTHOR, AI2-THOR, Habitat)やシーン合成手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nicholas Pfaff, Thomas Cohn, Sergey Zakharov, Rick Cory, Russ Tedrake

分類: cs.RO, cs.AI, cs.CV, cs.GR

原文アブストラクト

Simulation has become a key tool for training and evaluating home robots at scale, yet existing environments fail to capture the diversity and physical complexity of real indoor spaces. Current scene synthesis methods produce sparsely furnished rooms that lack the dense clutter, articulated furniture, and physical properties essential for robotic manipulation. We introduce SceneSmith, a hierarchical agentic framework that generates simulation-ready indoor environments from natural language prompts. SceneSmith constructs scenes through successive stages$\unicode{x2013}$from architectural layout to furniture placement to small object population$\unicode{x2013}$each implemented as an interaction among VLM agents: designer, critic, and orchestrator. The framework tightly integrates asset generation through text-to-3D synthesis for static objects, dataset retrieval for articulated objects, and physical property estimation. SceneSmith generates 3-6x more objects than prior methods, with <2% inter-object collisions and 96% of objects remaining stable under physics simulation. In a user study with 205 participants, it achieves 92% average realism and 91% average prompt faithfulness win rates against baselines. We further demonstrate that these environments can be used in an end-to-end pipeline for automatic robot policy evaluation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI