日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

相互作用生成arXiv:2604.04843

InfBaGel: 動的知覚と反復的洗練による人-物体-シーン相互作用生成

InfBaGel: Human-Object-Scene Interaction Generation with Dynamic Perception and Iterative Refinement

シェア:XThreadsFacebookLINEはてブBluesky

人-物体-シーン相互作用の生成を、動的なシーン変化を考慮しつつ、粗から精への反復的生成フレームワークで実現した。データ不足は疑似データ生成で補い、衝突回避のガイダンスも導入した。

詳しい要約

1. どんなもの?

本論文は、Human-Object-Scene Interaction (HOSI) 生成のためのフレームワーク InfBaGel を提案する。HOSI は embodied AI、simulation、animation への応用が広いが、Human-Object Interaction (HOI) や Human-Scene Interaction (HSI) と異なり、動的な object-scene 変化の推論が必要で、注釈付きデータが限られる。そこで coarse-to-fine の instruction-conditioned 生成フレームワークを提案し、consistency model の反復 denoising 過程と明示的に整合させる。

2. 先行研究と比べてどこがすごい?

- HOI や HSI と異なり、HOSI は動的な object-scene 変化の推論を要する点を問題設定として明確化。 - 既存手法は注釈付き HOSI データの不足に悩むが、本手法は hybrid training strategy で疑似 HOSI サンプルを合成し、高忠実度 HSI データと共同学習する。 - 実験で HOSI と HOI 生成の両方で state-of-the-art 性能、未見 scene への強い汎化を達成したと主張。

3. 技術・手法の肝は?

- consistency model の反復 denoising 過程に沿った coarse-to-fine の instruction-conditioned 生成。 - dynamic perception strategy: 直前の refinement の trajectories を利用し、各 denoising step で scene context を更新して次の refinement を条件付ける。 - bump-aware guidance: 細かい scene geometry を必要とせず、sampling 中の collision と penetration を緩和し、real-time 生成を可能にする。 - hybrid training strategy: HOI データセットに voxelized scene occupancy を注入して疑似 HOSI サンプルを合成し、高忠実度 HSI データと共同学習。

4. どうやって有効だと検証した?

- Extensive experiments により、HOSI と HOI 生成の両方で state-of-the-art 性能を達成。 - 未見 scene への強い汎化を示す。 - 具体的なデータセット名、評価指標、比較手法、アブレーションの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、疑似 HOSI サンプル合成の妥当性、bump-aware guidance の物理的忠実性、real-time 性と品質のトレードオフ、未見 scene 汎化の限界などが考えられるが、本文の記述は要旨に無い。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な研究名は明示されていない。 - 関連手法として、Human-Object Interaction (HOI) 生成、Human-Scene Interaction (HSI) 生成、consistency model、instruction-conditioned generation、voxelized scene occupancy を用いたデータ合成に関する研究が次に読むべき候補。 - 同分野の定番として、HOI 生成や HSI 生成の代表的ベンチマーク論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yude Zou, Junji Gong, Xing Gao, Zixuan Li, Tianxing Chen, Guanjie Zheng

分類: cs.CV, cs.AI

原文アブストラクト

Human-object-scene interactions (HOSI) generation has broad applications in embodied AI, simulation, and animation. Unlike human-object interaction (HOI) and human-scene interaction (HSI), HOSI generation requires reasoning over dynamic object-scene changes, yet suffers from limited annotated data. To address these issues, we propose a coarse-to-fine instruction-conditioned interaction generation framework that is explicitly aligned with the iterative denoising process of a consistency model. In particular, we adopt a dynamic perception strategy that leverages trajectories from the preceding refinement to update scene context and condition subsequent refinement at each denoising step of consistency model, yielding consistent interactions. To further reduce physical artifacts, we introduce a bump-aware guidance that mitigates collisions and penetrations during sampling without requiring fine-grained scene geometry, enabling real-time generation. To overcome data scarcity, we design a hybrid training startegy that synthesizes pseudo-HOSI samples by injecting voxelized scene occupancy into HOI datasets and jointly trains with high-fidelity HSI data, allowing interaction learning while preserving realistic scene awareness. Extensive experiments demonstrate that our method achieves state-of-the-art performance in both HOSI and HOI generation, and strong generalization to unseen scenes. Project page: https://yudezou.github.io/InfBaGel-page/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI