日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2609.33982

生成的なReal-to-Simによるロボットマニピュレーションのためのテスト時空間推論

Test-Time Spatial Reasoning for Robot Manipulation Using Generative Real-to-Sim

シェア:XThreadsFacebookLINEはてブBluesky

単一のRGB-D画像から3D生成モデルと視覚言語モデルでシミュレーション可能なシーンを再構築し、数千の並列物理シミュレーションと進化的探索によって物体配置を最適化する、訓練不要のテスト時空間推論フレームワークを提案。

詳しい要約

1. どんなもの?

- 単一の RGB-D 画像から、3D generative models と vision-language models を用いて simulation-ready なアセットを再構築する。 - 報酬関数で指定されたタスク(例:最も高い塔を建てる)に対し、シミュレーション内で数千の並列ロールアウトを実行し、evolutionary search で物体配置を最適化する。 - 訓練不要の test-time フレームワーク Simify を提案し、実ロボットで未見物体の複雑な再配置タスクを end-to-end で実行する。

2. 先行研究と比べてどこがすごい?

- 従来の spatial reasoning 向け foundation models と比較して、推論時に大規模並列シミュレーションを活用することで性能を上回る。 - 訓練不要で test-time に空間推論を行い、実ロボットハードウェアで未見物体のタスクを実行できる点が優位。 - sim-to-real 転移には完全かつ正確な geometry が重要であることを示した。

3. 技術・手法の肝は?

- 単一 RGB-D 画像から 3D generative models と vision-language models を活用して simulation-ready アセットを再構築する。 - 報酬関数でタスクを指定し、シミュレーション内で数千の並列ロールアウトを実行する。 - evolutionary search により物体配置を最適化し、通常数秒以内に収束させる。

4. どうやって有効だと検証した?

- 実ロボットハードウェア上で定量的実験を実施し、未見物体を含む複雑な物体再配置タスクを end-to-end で実行できることを示した。 - 従来の spatial reasoning 向け foundation models との比較で性能優位を確認した。 - sim-to-real 転移の成功には完全かつ正確な geometry が重要であることを示した。

5. 議論はある?

- 大規模並列シミュレーションを推論時に活用することの有効性が示された。 - sim-to-real 転移には完全かつ正確な geometry が重要であると議論されている。 - その他の限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている spatial reasoning 向け foundation models に関する研究。 - 3D generative models や vision-language models を用いた real-to-sim 関連研究。 - sim-to-real transfer における geometry の完全性・正確性を扱う研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ivan Kapelyukh, Yafei Hu, Ran Gong, Brandon May, Tushar Kusnur, Laura Herlant, Karl Schmeckpeper, Edward Johns, Xiaohan Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Spatial reasoning is fundamental to general robot intelligence, as it enables robots to complete long-horizon tasks involving multi-object interaction. We introduce Simify, a training-free, test-time framework that performs explicit spatial reasoning via massively parallel physics simulation. From a single RGB-D image of a scene, Simify reconstructs simulation-ready assets leveraging 3D generative models and vision-language models. Then given a task specified by a reward function (e.g., build the tallest tower), Simify launches thousands of parallel rollouts in simulation and performs an evolutionary search to optimize object arrangements, typically converging within seconds. We conduct quantitative experiments on real-robot hardware to demonstrate the ability of our framework to execute complex object rearrangement tasks end-to-end with previously unseen objects. Results show that our framework outperforms prior work on foundation models for spatial reasoning by effectively exploiting large-scale parallel simulation during inference, and also highlight the importance of complete and accurate geometry for successful sim-to-real transfer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI