日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構築/インタラクションarXiv:2605.17014

RHINO: 単眼ビデオからの新規物体との人間インタラクションの再構築

RHINO: Reconstructing Human Interactions with Novel Objects from Monocular Videos

シェア:XThreadsFacebookLINEはてブBluesky

単眼RGBビデオから、人間、未知の操作物体、静的シーンを共通の3D世界座標で再構築する3段階フレームワークを提案。3D基盤モデルによる手がかりでSfMを安定化し、接触事前分布で物理的整合性を向上させる。

詳しい要約

1. どんなもの?

- 単眼RGB動画から、人・未知の操作対象物体・静的シーンを共通のworld frameで3D再構成するタスクを扱う。 - 提案手法RHINOは3段階のフレームワーク。 - 入力はmoving cameraによるRGB動画で、depth曖昧性・相互遮蔽・cameraとobjectの運動混在によりill-posed。 - 出力はhuman、novel (unseen) manipulated object、static sceneの3D形状と運動。

2. 先行研究と比べてどこがすごい?

- 多くの先行研究はhumanまたはobjectを単独で扱い、相互作用を無視していた。 - あるいは既知の3D形状やcameraを仮定し、実世界応用に非現実的だった。 - RHINOはnovel (unseen) objectと未知cameraを前提とし、human-object-sceneを統合的に再構成する点が異なる。 - 新規データセットも構築し、ground-truth shapeとcamera motionを提供。

3. 技術・手法の肝は?

- 第1段階: 3D-aware foundation modelsを活用し、低テクスチャ領域でもSfMを安定化するcueを得る。 - foreground pixelsからobjectのcoarse shapeとapparent motionを取得。 - background pixelsからcoarse scene shapeとcamera motionを取得。 - 第2段階: off-the-shelf手法でcamera frame内のhumanを推定し、apparent motionからcamera motionを差し引いてobject motionを抽出。 - human・object・coarse scene shapesを共通world frameに登録。 - 第3段階: per-component signed-distance fieldsを持つcompositional neural fieldで形状をrefine。 - differentiable contact priorsにより表面を引き寄せつつinterpenetrationを罰し、物理的妥…

4. どうやって有効だと検証した?

- 新規データセットを収集: handheld monocular videosをvolumetric 4D capture stageと同期。 - ground-truth shapeとcamera motionを提供。 - novel-view synthesisと4D reconstructionでstate-of-the-art baselinesを上回る。 - Ablationsにより各stageが大きく寄与することを示す。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗ケース、計算コスト、一般化可能性についての議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 3D-aware foundation models、Structure-from-Motion (SfM)、off-the-shelf human estimation、compositional neural field、signed-distance fields、differentiable contact priors。 - 関連手法として、human-object interaction reconstruction、novel object manipulation、monocular 4D reconstructionの定番研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lixin Xue, Chengwei Zheng, Georgios Paschalidis, Chen Guo, Manuel Kaufmann, Juan Zarate, Dimitrios Tzionas

分類: cs.CV

原文アブストラクト

Reconstructing people, objects, and their interactions in 3D is a long-standing goal for intelligent systems. Often the input is RGB video from a moving camera, making the task ill-posed; depth is ambiguous, humans and objects occlude each other, and camera and object motion entangle to create apparent motion. Most prior work addresses humans or objects in isolation, ignoring their interplay, or assumes known 3D shapes or cameras, which is impractical for real-world applications. We develop RHINO (Reconstructing Human Interactions with Novel Objects), a three-step framework that recovers in 3D a human, novel (unseen) manipulated object, and static scene in a common world frame from a monocular RGB video. First, we leverage 3D-aware foundation models to obtain cues that stabilize Structure-from-Motion (SfM) even for low-texture regions; this yields a coarse shape and apparent motion of a manipulated object from foreground pixels, and a coarse scene shape and camera motion from background pixels. Second, we estimate a human in the camera frame via an off-the-shelf method, and subtract the camera motion from apparent motion to extract the object motion; this registers the human, object, and coarse scene shapes into a common world frame. Third, we refine shapes using a compositional neural field with per-component signed-distance fields. The latter further enables differentiable contact priors that attract surfaces while penalizing interpenetration, improving the physical plausibility of the final reconstruction. For evaluation, we capture a new dataset of handheld monocular videos synchronized with a volumetric 4D capture stage, providing ground-truth shape and camera motion. RHINO outperforms state-of-the-art baselines on novel-view synthesis and 4D reconstruction. Ablations show that each stage contributes substantially. Code and data are available at https://lxxue.github.io/RHINO.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI