日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

シーン再構築arXiv:2610.28585

SceneRig:単一画像からシミュレーション可能な3Dシーンを再構築するエージェントシステム

SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images

シェア:XThreadsFacebookLINEはてブBluesky

単一画像から物理的に安定した編集可能な3Dシーンを生成するエージェント型システムを提案し、物体の配置精度とロボット政策の予測精度を向上させた。

詳しい要約

1. どんなもの?

- 単一画像から編集可能かつsimulation-readyな3D sceneを生成するagentic system「SceneRig」 - 幾何・視覚・物理のtoolを組み合わせて忠実な3D sceneを再構成 - agentがphysics simulator内でedit-and-validate loopを回し物理的安定性を達成 - 下流のrobotics用途(real-robot policy outcomes予測、記録manipulationのreplay)も狙う

2. 先行研究と比べてどこがすごい?

- 単一画像からのscene再構成はvisual similarityだけでは不十分で、物体の復元・正確な配置・物理的groundingが必要 - 既存手法はpost-hoc physics settlingに依存し、物体を誤配置し「見た目は正しいがmanipulation下で挙動が悪い」sceneを生む - SceneRigはagentがsimulator内でedit-and-validate loopを行うことで物理的安定性を実現 - 多様な入力でinstance segmentation、object-centric appearance、3D placementを改善しつつ物理的安定性を維持

3. 技術・手法の肝は?

- geometric・visual・physicalのtool群を組み合わせて単一画像から3D sceneを再構成 - agentがphysics simulator内でedit-and-validate loopを実行し物理的安定性を獲得 - 出力は編集可能かつsimulation-readyなscene - 詳細なアルゴリズム・モデル構成は要旨からは不明

4. どうやって有効だと検証した?

- 多様な入力に対しinstance segmentation、object-centric appearance、3D placementの改善と物理的安定性を評価 - 下流roboticsでreal-robot policy outcomesをbaselineより正確に予測 - 記録済みmanipulationのreplayをtrajectory adaptationなしでより確実に支援 - 定量的指標・データセットの詳細は要旨からは不明

5. 議論はある?

- post-hoc physics settlingの限界(誤配置・manipulation下での挙動不良)を動機として提示 - agentによるedit-and-validate loopが物理的安定性に有効であることを主張 - 限界・失敗ケース・計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- post-hoc physics settlingを用いる既存のsingle-image scene reconstruction手法(具体名は要旨からは不明) - 比較対象のbaseline method(具体名は要旨からは不明) - 関連するsimulation-ready scene生成・physics-grounded reconstructionの研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rundong Luo, Yunong Liu, Di Cao, Matthew Tancik, Shyamal Buch, Colton Stearns, Wenqi Xian

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Simulation is a powerful tool for robotics, but building diverse, simulation-ready scenes at scale remains difficult. Reconstructing scenes from single images is a promising alternative, but visual similarity alone is insufficient: objects must also be recovered, accurately placed, and physically grounded. Existing methods that rely on post-hoc physics settling often misplace objects, producing scenes that look correct but behave poorly under manipulation. We present SceneRig, an agentic system that turns a single image into an editable, simulation-ready scene. SceneRig combines geometric, visual, and physical tools to reconstruct a faithful 3D scene. An agent then performs edit-and-validate loops inside a physics simulator to achieve physical stability. Across diverse inputs, SceneRig improves instance segmentation, object-centric appearance, and 3D placement while keeping the reconstructed scenes physically stable. Furthermore, SceneRig is effective for downstream robotics: its scenes predict real-robot policy outcomes more accurately than the baseline method and more reliably support replay of recorded manipulations without trajectory adaptation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI