日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人-物体インタラクション/物理シミュレーションarXiv:2605.14462

HOIにおけるReal2Sim:単眼ビデオからの物理的に妥当な人-物体インタラクション再構成に向けて

Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos

シェア:XThreadsFacebookLINEはてブBluesky

単眼ビデオから人と物体のインタラクションを再構成する際、視覚的にだけでなく物理的にも妥当な4Dアニメーションを生成するフレームワークHA-HOIを提案する。人間の動きを基準に物体を追従させ、物理シミュレーションで安定した動作を実現する。

詳しい要約

1. どんなもの?

- 単眼動画から4D human-object interaction (HOI) を再構成するフレームワーク HA-HOI を提案。 - 視覚的に尤もらしい軌道復元ではなく、物理的に妥当な4D HOIアニメーションを目指す。 - human-first, object-follow の定式化を採用。 - 人間動作を interaction anchor として復元し、物体を人間動作に対して再構成・整列・洗練。 - 得られた kinematic trajectory を physics-based humanoid-object simulation に投影し、teacher trajectory として安定した物理ロールアウトを実現。 - 単眼HOI動画を humanoid-object 行動のスケーラブルなデモンストレーションへ変換する一歩。

2. 先行研究と比べてどこがすごい?

- 従来法は時間的に一貫した人間・物体軌道を再構成できるが、視覚的アーティファクトに留まり、安定した接触・機能的マニピュレーション・物理的妥当性を保てない。 - 従来法は人間と物体を独立エンティティとして扱い、曖昧な単眼3D空間で追跡するに過ぎない。 - HA-HOI は人間と物体の関係を復元し、物理ベースシミュレーションに耐える相互作用アニメーションを生成。 - ベンチマークおよび in-the-wild 動画で、human-object alignment、contact consistency、temporal stability、simulation readiness を改善。

3. 技術・手法の肝は?

- human-first, object-follow の定式化。 - 人間動作を interaction anchor として復元。 - 物体を人間動作に対して再構成・整列・洗練。 - 得られた kinematic trajectory を physics-based humanoid-object simulation に投影。 - その軌道を teacher trajectory として安定した物理ロールアウトを実行。 - 単眼3D空間で人間と物体を独立に扱わず、相互作用関係を復元する点が肝。

4. どうやって有効だと検証した?

- ベンチマークおよび in-the-wild 動画で評価。 - human-object alignment、contact consistency、temporal stability、simulation readiness の改善を確認。 - 具体的なデータセット名や評価指標の詳細は要旨からは不明。

5. 議論はある?

- HOI再構成は人間と物体の追跡で止まるべきではなく、両者の運動を coherent interaction にする関係を復元すべきという fundamental interaction gap を指摘。 - 視覚的に尤もらしい軌道復元から物理的に根拠のある相互作用アニメーションへ移行することの重要性を議論。 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究名は不明。 - 関連手法として monocular HOI reconstruction、human motion recovery、physics-based humanoid-object simulation、real2sim が挙げられる。 - 同分野の定番として human pose estimation、object pose estimation、contact modeling、physics-based character animation に関する研究を読むと良い。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yubo Zhao, Yujin Chai, Yunao Dong, Chengfeng Zhao, Zijiao Zeng, Yuan Liu, Chi-Keung Tang

分類: cs.CV

原文アブストラクト

Recovering 4D human-object interaction (HOI) from monocular video is a key step toward scalable 3D content creation, embodied AI, and simulation-based learning. Recent methods can reconstruct temporally coherent human and object trajectories, but these trajectories often remain visual artifacts while failing to preserve stable contact, functional manipulation, or physical plausibility when used as reference motions for humanoid-object simulation. This reveals a fundamental interaction gap: HOI reconstruction should not stop at tracking a human and an object, but should recover the relation that makes their motion a coherent interaction. We introduce $\textbf{HA-HOI}$, a framework for reconstructing physically plausible 4D HOI animation from in-the-wild monocular videos. Instead of treating the human and object as independent entities in an ambiguous monocular 3D space, we propose a $\textit{human-first, object-follow}$ formulation. The human motion is recovered as the interaction anchor, and the object is reconstructed, aligned, and refined relative to the human action. The resulting kinematic trajectory is then projected into a physics-based humanoid-object simulation, where it acts as a teacher trajectory for stable physical rollout. Across benchmark and in-the-wild videos, $\textbf{HA-HOI}$ improves human-object alignment, contact consistency, temporal stability, and simulation readiness over prior monocular HOI reconstruction methods. By moving beyond visually plausible trajectory recovery toward physically grounded interaction animation, our work takes a step toward turning general monocular HOI videos into scalable demonstrations for humanoid-object behavior. Project page: https://knoxzhao.github.io/real2sim_in_HOI/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI