日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動的シーン再構成arXiv:2606.28820

CoGS: 単眼ビデオからの動的ヒューマン・オブジェクトシーンの合成ガウススプラッティング

CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video

シェア:XThreadsFacebookLINEはてブBluesky

単眼ビデオから人間と物体の相互作用シーンを再構成するため、人間・物体・背景をそれぞれ異なる動きモデルで分離し、協調的に最適化する合成ガウススプラッティングフレームワークを提案した。

詳しい要約

1. どんなもの?

単眼動画から動的な人物-物体相互作用シーンを再構成するCompositional Gaussian-splattingフレームワークCoGSを提案。 - 人物・操作物体・背景を3つの協調ブランチに分解 - 各成分が異なる運動モデルに従う問題に対処 - HOSNeRFとNeuManで評価

2. 先行研究と比べてどこがすごい?

既存のdynamic radiance-fieldやGaussian-splatting手法は人物・物体・背景を絡めてしまい、物体運動が人物や静的シーンに漏れる問題があった。 - CoGSは構成要素を分離し、各成分が自身の幾何と運動を担う - 単眼人物再構成の観測不足領域の制約も改善 - 全フレームおよび人物中心評価で忠実度と知覚品質が向上

3. 技術・手法の肝は?

3つの協調ブランチで構成。 - 完全なcanonical priorから初期化されるarticulated human - 推定物体軌跡で駆動されるrigid object field - 利用可能な場合はweak scene-only planar primitivesで正則化されるstatic scene field - 6段階最適化スケジュール: 人物と物体を独立に安定化後、full-image supervision、visibility-aware human anchoring、object silhouette and motion constraints、delayed scene regularizationで融合

4. どうやって有効だと検証した?

HOSNeRFとNeuManのデータセットで実験。 - 人物-物体相互作用再構成とin-the-wild人物-シーン描画の両方を評価 - 全フレームおよび人物中心評価でより強い忠実度と知覚品質を達成 - コードは出版時に公開予定

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、一般化可能性についての議論は記載されていない

6. 次に読むべき論文は?

要旨で参照/比較されている研究: HOSNeRF, NeuMan。 - 関連手法: dynamic radiance-field, Gaussian-splatting - 同分野の定番: 単眼動画からの動的シーン再構成、human-object interaction reconstruction

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jerrin Bright, John Zelek

分類: cs.CV

原文アブストラクト

Reconstructing dynamic human--object interaction scenes from monocular video is difficult because the human, manipulated object, and background obey different motion models while sharing the same pixels. Existing dynamic radiance-field and Gaussian-splatting methods often entangle these components, causing object motion to leak into the human or static scene, and monocular human reconstruction remains underconstrained in regions that are rarely observed. We present CoGS, a compositional Gaussian-splatting framework for monocular human--object scene reconstruction. CoGS decomposes the video into three coordinated branches: an articulated human initialized from a complete canonical prior, a rigid object field driven by an estimated object trajectory, and a static scene field regularized by weak scene-only planar primitives when available. A six-stage optimization schedule first stabilizes the human and object independently, then fuses them with the scene under full-image supervision, visibility-aware human anchoring, object silhouette and motion constraints, and delayed scene regularization. This design keeps each component responsible for its own geometry and motion while allowing photometric evidence to correct the final composite. Experiments on HOSNeRF and NeuMan show that CoGS improves both human--object interaction reconstruction and in-the-wild human--scene rendering, achieving stronger fidelity and perceptual quality across full-frame and human-focused evaluations. Code will be released upon publication.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI