日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

シミュレーション/再構築arXiv:2603.15612

HSImul3R: 物理を組み込んだシミュレーション可能な人-シーン相互作用の再構築

HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions

シェア:XThreadsFacebookLINEはてブBluesky

カジュアルな映像から、物理的に安定したシミュレーション可能な人-シーン相互作用の3D再構築を行うフレームワークを提案。物理シミュレータを能動的な監督者として双方向に最適化し、実ロボットへの適用も実証した。

詳しい要約

1. どんなもの?

- どんなもの? - HSImul3R: カジュアルなキャプチャ(sparse-view imagesやmonocular videos)から、物理シミュレーション可能な3D human-scene interaction (HSI) を再構築する統合フレームワーク。 - 既存手法のperception-simulation gap(見た目は良いが物理制約に違反し、physics engineで不安定になる問題)を橋渡しする。 - 物理シミュレータを能動的supervisorとして扱い、人間の動きとシーン形状を双方向に最適化する。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存手法は視覚的に妥当でも物理制約を満たさず、physics engineで不安定になりembodied AI応用に失敗する問題があった。 - HSImul3Rは初めて安定したsimulation-readyなHSI再構築を実現し、実世界のhumanoid robotsに直接展開可能。 - 新ベンチマークHSIBenchを提案し、多様な物体と相互作用シナリオをカバー。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 物理に基づく双方向最適化パイプライン。 - 順方向: Scene-targeted Reinforcement Learningで人間動作を最適化。motion fidelityとcontact stabilityの二重監督。 - 逆方向: Direct Simulation Reward Optimizationで、重力安定性とinteraction successに関するシミュレーションフィードバックを利用しシーン形状を洗練。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 広範な実験により、HSImul3Rが初の安定したsimulation-ready HSI再構築を生成し、実世界humanoid robotsに直接展開可能であることを示した。 - 新ベンチマークHSIBenchを用いて評価。

5. 議論はある?

- 議論はある? - 要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、human-scene interaction reconstruction、physics-based motion optimization、reinforcement learning for human motion、simulation-ready reconstructionなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yukang Cao, Haozhe Xie, Fangzhou Hong, Long Zhuo, Zhaoxi Chen, Liang Pan, Ziwei Liu

分類: cs.CV, cs.RO

原文アブストラクト

We present HSImul3R, a unified framework for simulation-ready 3D reconstruction of human-scene interactions (HSI) from casual captures, including sparse-view images and monocular videos. Existing methods suffer from a perception-simulation gap: visually plausible reconstructions often violate physical constraints, leading to instability in physics engines and failure in embodied AI applications. To bridge this gap, we introduce a physically-grounded bi-directional optimization pipeline that treats the physics simulator as an active supervisor to jointly refine human dynamics and scene geometry. In the forward direction, we employ Scene-targeted Reinforcement Learning to optimize human motion under dual supervision of motion fidelity and contact stability. In the reverse direction, we propose Direct Simulation Reward Optimization, which leverages simulation feedback on gravitational stability and interaction success to refine scene geometry. We further present HSIBench, a new benchmark with diverse objects and interaction scenarios. Extensive experiments demonstrate that HSImul3R produces the first stable, simulation-ready HSI reconstructions and can be directly deployed to real-world humanoid robots.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI