日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ生成arXiv:2604.19673

InHabit: 画像基盤モデルを活用したスケーラブルな3D人間配置

InHabit: Leveraging Image Foundation Models for Scalable 3D Human Placement

シェア:XThreadsFacebookLINEはてブBluesky

3Dシーンに人間を自然に配置する大規模データセットを自動生成する手法を提案。2D基盤モデルの知識を3Dに転写し、78Kサンプルのデータセットを構築した。

詳しい要約

1. どんなもの?

- 3Dシーンに人間を配置する自動スケーラブルデータ生成器InHabitを提案。 - レンダリングされた3Dシーンから、VLMが文脈に合った行動を提案し、画像編集モデルが人間を挿入、最適化でSMPL-Xボディをシーンに整合させる。 - Habitat-Matterport3Dに適用し、78Kサンプル、約800の建物規模シーンからなるInHabitantsデータセットを構築。 - 完全な3Dジオメトリ、SMPL-Xボディ、画像を含む初の大規模フォトリアリスティック3D人間-シーンインタラクションデータセット。

2. 先行研究と比べてどこがすごい?

- 既存の合成データセットは単純な幾何ヒューリスティックに依存し、豊富なシーン文脈を無視。 - 実世界キャプチャは高コストで制御された設定に限定。 - InHabitはインターネット規模で訓練された2D基盤モデルの常識知識を3Dに転移し、文脈的に意味のある人間-環境インタラクションを生成。 - 知覚ユーザスタディで78%のケースで先行技術より好まれる。

3. 技術・手法の肝は?

- render-generate-lift原則:3Dシーンをレンダリングし、VLMが文脈的に意味のある行動を提案、画像編集モデルが人間を挿入、最適化手続きで編集結果を物理的に妥当なSMPL-Xボディに持ち上げ、シーンジオメトリに整合させる。 - これにより、自動的かつスケーラブルに3Dシーンに人間を配置。

4. どうやって有効だと検証した?

- InHabitantsを標準訓練データに追加することで、RGBベースの3D人間-シーン再構成と接触推定が改善。 - 知覚ユーザスタディで、我々のデータが先行技術より78%のケースで好まれる。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:既存の合成データセット(具体的名称は要旨に無い)、先行技術(具体的名称は要旨に無い)。 - 関連手法:SMPL-X、Habitat-Matterport3D、VLM、画像編集モデル。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikita Kister, Pradyumna YM, István Sárándi, Jiayi Wang, Anna Khoreva, Gerard Pons-Moll

分類: cs.CV

原文アブストラクト

Training embodied agents to understand 3D scenes as humans do requires large-scale data of people meaningfully interacting with diverse environments, yet such data is scarce. Real-world capture is costly and limited to controlled settings, while existing synthetic datasets rely on simple geometric heuristics, ignoring rich scene context. In contrast, 2D foundation models trained at internet scale have acquired commonsense knowledge of human-environment interactions. To transfer this knowledge to 3D, we introduce InHabit, an automatic and scalable data generator for populating 3D scenes with interacting humans. InHabit follows a render-generate-lift principle: given a rendered 3D scene, a vision-language model proposes contextually meaningful actions, an image-editing model inserts a human, and an optimization procedure lifts the edited result into physically plausible SMPL-X bodies aligned with the scene geometry. Applied to Habitat-Matterport3D, InHabit produces InHabitants, the first large-scale photorealistic 3D human-scene interaction dataset, with 78K samples across $\sim$800 building-scale scenes with complete 3D geometry, SMPL-X bodies, and images. Augmenting standard training data with InHabitants improves RGB-based 3D human-scene reconstruction and contact estimation, and in a perceptual user study our data is preferred in 78% of cases over prior art.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI