日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2602.10116

SAGE: 身体性AIのためのスケーラブルなエージェント型3Dシーン生成

SAGE: Scalable Agentic 3D Scene Generation for Embodied AI

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーが指定した身体性タスクを理解し、複数の生成器と評価器を組み合わせて物理的に妥当でシミュレータ対応の3D環境を自動生成するエージェントフレームワークを提案。

詳しい要約

1. どんなもの?

- 実世界データ収集の高コスト・危険性を解決するため、embodied AI向けのスケーラブルでリアルな3D環境を自動生成するフレームワーク。 - ユーザ指定のembodied task(例: "pick up a bowl and place it on the table")の意図を理解し、シミュレータ対応環境を大規模生成。 - 複数のgeneratorとcriticを組み合わせ、反復推論と適応的ツール選択で自己改善。 - 生成環境は現代的シミュレータで直接利用可能で、policy trainingに使える。

2. 先行研究と比べてどこがすごい?

- 既存のscene-generationはrule-basedやtask-specific pipelineに依存し、artifactや物理的に無効なsceneを生じがち。 - SAGEはagentic frameworkとして意図理解と自動生成を統合し、物理的妥当性と多様性を両立。 - 生成データのみで訓練したpolicyがscaling trendを示し、未見物体・layoutに汎化。 - これによりsimulation-driven scalingの可能性を示す点が先行研究と異なる。

3. 技術・手法の肝は?

- agentがlayoutとobject compositionの複数generatorを組み合わせ、semantic plausibility・visual realism・physical stabilityを評価するcriticと連携。 - 反復推論とadaptive tool selectionにより、ユーザ意図と物理的妥当性を満たすまでsceneを自己洗練。 - 生成された環境はrealisticかつdiverseで、modern simulatorに直接deploy可能。

4. どうやって有効だと検証した?

- 生成データのみで訓練したpolicyが明確なscaling trendを示し、未見物体やlayoutに汎化することを確認。 - これにより有効性を検証。 - 具体的な評価指標やベースラインとの比較は要旨からは不明。

5. 議論はある?

- 既存手法のartifactや物理的無効性の問題を指摘し、SAGEがそれを克服することを主張。 - 生成環境のrealism・diversity・物理的妥当性を強調。 - 限界や課題、今後の議論については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、rule-based scene generation、task-specific pipeline、embodied AI向けのsimulation-driven scalingに関する研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongchi Xia, Xuan Li, Zhaoshuo Li, Qianli Ma, Jiashu Xu, Ming-Yu Liu, Yin Cui, Tsung-Yi Lin, Wei-Chiu Ma, Shenlong Wang, Shuran Song, Fangyin Wei

分類: cs.CV, cs.RO

原文アブストラクト

Real-world data collection for embodied agents remains costly and unsafe, calling for scalable, realistic, and simulator-ready 3D environments. However, existing scene-generation systems often rely on rule-based or task-specific pipelines, yielding artifacts and physically invalid scenes. We present SAGE, an agentic framework that, given a user-specified embodied task (e.g., "pick up a bowl and place it on the table"), understands the intent and automatically generates simulation-ready environments at scale. The agent couples multiple generators for layout and object composition with critics that evaluate semantic plausibility, visual realism, and physical stability. Through iterative reasoning and adaptive tool selection, it self-refines the scenes until meeting user intent and physical validity. The resulting environments are realistic, diverse, and directly deployable in modern simulators for policy training. Policies trained purely on this data exhibit clear scaling trends and generalize to unseen objects and layouts, demonstrating the promise of simulation-driven scaling for embodied AI. Code, demos, and the SAGE-10k dataset can be found on the project page here: https://research.nvidia.com/labs/dir/sage/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI