日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2512.14696

CRISP: 平面プリミティブを用いた単眼動画からの接触誘導型Real2Sim

CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から人間とシーンの接触を手がかりに平面プリミティブでシーン形状を復元し、物理的に妥当な人間動作とシミュレーション可能な環境を生成する手法。

詳しい要約

1. どんなもの?

- 単眼動画から、シミュレーション可能な人間動作とシーン形状を復元する手法 CRISP を提案する研究。 - シーン点群に planar primitives をフィッティングし、凸でクリーンかつ simulation-ready な形状を得る。 - 人間-シーン接触モデリングで遮蔽部(例: 椅子の座面)も再構成し、RL で humanoid controller を駆動して物理的妥当性を担保する。 - 対象は human-centric video と in-the-wild 動画(Sora 生成含む)。

2. 先行研究と比べてどこがすごい?

- 従来の joint human-scene reconstruction は data-driven priors と joint optimization に依存し、physics in the loop が無い。 - またノイズやアーティファクトを含む形状のため、シーン相互作用を伴う motion tracking policy が失敗しやすい。 - CRISP は planar primitives によるクリーンな形状復元と接触モデリング、RL 制御を組み合わせる点が異なる。 - 結果として motion tracking 失敗率を 55.2% から 6.9% へ低減し、RL simulation throughput を 43% 高速化。

3. 技術・手法の肝は?

- シーン点群再構成に対し、depth・normals・flow 上の単純な clustering pipeline で planar primitives をフィット。 - これにより凸でクリーンな simulation-ready geometry を得る。 - 人間-シーン接触モデリングを利用し、人間姿勢から遮蔽された座面などを再構成。 - 得られた人間・シーン再構成を RL で humanoid controller 駆動に用い、物理的妥当性を確保。

4. どうやって有効だと検証した?

- human-centric video benchmarks の EMDB と PROX で評価。 - motion tracking 失敗率が 55.2% から 6.9% へ低下。 - RL simulation throughput が 43% 高速化。 - casually-captured videos、Internet videos、Sora-generated videos を含む in-the-wild 動画でも検証。

5. 議論はある?

- 単眼動画から物理的に妥当な人間動作と相互作用環境を大規模生成でき、robotics や AR/VR の real-to-sim 応用を前進させると主張。 - 失敗率低減と throughput 向上を示す一方、限界や失敗事例の詳細は要旨からは不明。 - planar primitives 前提のため非平面形状への適用性などは要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される prior work の joint human-scene reconstruction(データ駆動事前分布と joint optimization 系)。 - 評価に用いられた EMDB、PROX。 - 関連手法として human-scene contact modeling、planar primitives fitting、RL による humanoid controller(motion tracking policy)。 - 生成動画として Sora。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihan Wang, Jiashun Wang, Jeff Tan, Yiwen Zhao, Jessica Hodgins, Shubham Tulsiani, Deva Ramanan

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

We introduce CRISP, a method that recovers simulatable human motion and scene geometry from monocular video. Prior work on joint human-scene reconstruction relies on data-driven priors and joint optimization with no physics in the loop, or recovers noisy geometry with artifacts that cause motion tracking policies with scene interactions to fail. In contrast, our key insight is to recover convex, clean, and simulation-ready geometry by fitting planar primitives to a point cloud reconstruction of the scene, via a simple clustering pipeline over depth, normals, and flow. To reconstruct scene geometry that might be occluded during interactions, we make use of human-scene contact modeling (e.g., we use human posture to reconstruct the occluded seat of a chair). Finally, we ensure that human and scene reconstructions are physically-plausible by using them to drive a humanoid controller via reinforcement learning. Our approach reduces motion tracking failure rates from 55.2\% to 6.9\% on human-centric video benchmarks (EMDB, PROX), while delivering a 43\% faster RL simulation throughput. We further validate it on in-the-wild videos including casually-captured videos, Internet videos, and even Sora-generated videos. This demonstrates CRISP's ability to generate physically-valid human motion and interaction environments at scale, greatly advancing real-to-sim applications for robotics and AR/VR.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI