シーン生成2025/5/1arXiv:2505.04831

後学習と推論時探索による操作可能なシーン生成

Steerable Scene Generation with Post Training and Inference-Time Search

拡散モデルで物体配置とSE(3)姿勢を生成し、強化学習による後学習や推論時探索で下流タスクに合わせてシーンを制御する手法を提案。

詳しい要約

1. どんなもの？

- ロボットのsimulation訓練用に、多様な3D sceneを生成する手法 - 固定asset libraryから配置する物体とそのSE(3) poseを予測する、unified diffusion-based generative modelを学習 - 生成したsceneを下流タスクの目的に合わせてsteerできる枠組みを提示 - 5種類の環境にわたる44 million以上のSE(3) sceneデータセットを公開

2. 先行研究と比べてどこがすごい？

- 従来はタスク要件を満たすscene（例: high-clutterでplausibleな配置）が希少で、手作業curationが高コストだった - procedural modelによる大規模scene生成を、task-specific goalsへ適応可能にした点が特徴 - 単一のdiffusion modelをscene priorとして、RL-based post training・conditional generation・inference-time searchでsteeringできる - 元のデータ分布と異なる下流目的にも誘導可能と主張

3. 技術・手法の肝は？

- 固定asset libraryから物体選択とSE(3) poseを同時に予測するunified diffusion-based generative model - 適応手段として (1) reinforcement learning-based post training、(2) conditional generation、(3) inference-time search を用意 - diffusion model向けの新規MCTS-based inference-time search戦略を導入 - projectionとsimulationにより物理的feasibilityを担保

4. どうやって有効だと検証した？

- 物理的feasibilityを尊重したgoal-directed scene synthesisが可能であることを示すと主張 - projectionとsimulationによるfeasibility enforcementを実施 - 5環境・44 million以上のSE(3) sceneデータセットを公開 - 具体的な評価指標・比較実験の詳細は要旨からは不明

5. 議論はある？

- 生成sceneが下流タスクの厳しい要件を満たすか、物理的feasibilityの担保方法が議論点 - 元データ分布と異なる目的へのsteeringの限界や汎化性は要旨からは不明 - RL-based post training、conditional generation、inference-time searchの比較や使い分けは要旨からは不明 - 大規模データセットの品質・多様性評価は要旨からは不明

6. 次に読むべき論文は？

- diffusion modelのinference-time search（MCTSベースの手法）に関する研究 - reinforcement learning-based post trainingによるgenerative modelの適応手法 - robotic manipulation向けprocedural scene generationの先行研究 - SE(3) poseを扱うscene synthesis / layout generationの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nicholas Pfaff, Hongkai Dai, Sergey Zakharov, Shun Iwase, Russ Tedrake

分類: cs.RO, cs.GR, cs.LG

原文アブストラクト

Training robots in simulation requires diverse 3D scenes that reflect the specific challenges of downstream tasks. However, scenes that satisfy strict task requirements, such as high-clutter environments with plausible spatial arrangement, are rare and costly to curate manually. Instead, we generate large-scale scene data using procedural models that approximate realistic environments for robotic manipulation, and adapt it to task-specific goals. We do this by training a unified diffusion-based generative model that predicts which objects to place from a fixed asset library, along with their SE(3) poses. This model serves as a flexible scene prior that can be adapted using reinforcement learning-based post training, conditional generation, or inference-time search, steering generation toward downstream objectives even when they differ from the original data distribution. Our method enables goal-directed scene synthesis that respects physical feasibility and scales across scene types. We introduce a novel MCTS-based inference-time search strategy for diffusion models, enforce feasibility via projection and simulation, and release a dataset of over 44 million SE(3) scenes spanning five diverse environments. Website with videos, code, data, and model weights: https://steerable-scene-generation.github.io/

arXivで原文を読む →arXiv概要ページ

後学習と推論時探索による操作可能なシーン生成

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell