日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HOI生成arXiv:2606.22806

ポリシーをデータとして:シミュレーション物理から一般化可能なHOI拡散モデルを学習する

Policy-as-Data: Learning Generalizable HOI Diffusion Models from Simulated Physics

シェア:XThreadsFacebookLINEはてブBluesky

物理シミュレータで強化学習により訓練したポリシーを用いてタスク指向のデータを生成し、そのデータで拡散モデルを訓練することで、未見物体への一般化と長期的な物理整合性を持つ人間-物体インタラクション生成を実現する。

詳しい要約

1. どんなもの?

- 物理シミュレータを活用し、HOI(Human-Object Interaction)生成のデータ不足を克服するフレームワークを提案。 - 強化学習で訓練したポリシーを用いてタスク指向のデータを生成し、拡張データセットで生成モデルを訓練。 - 粗から細へのリターゲティングプロセスを導入し、シミュレータの簡易モデルと生成訓練に必要な標準パラメトリック身体モデル間の表現ギャップを橋渡し。 - 未見物体への汎化と長期的生成を実現し、動的多様性と物理的妥当性を向上。

2. 先行研究と比べてどこがすごい?

- 従来のデータ駆動アプローチはモーションキャプチャデータセットに依存し、拡張が高コストで機能的多様性が限られる。 - これらのデータセットで訓練されたモデルは未見物体への汎化が不十分で、長期的な物理的一貫性を維持できない。 - 提案手法は物理シミュレータを活用することでデータ不足を解消し、汎化性能と長期的生成能力を向上させる点が優れている。

3. 技術・手法の肝は?

- 物理シミュレータ内で強化学習により訓練されたポリシーを用いて、タスク指向のHOIデータを生成。 - 生成された合成データを活用するため、粗から細へのリターゲティングプロセスを導入。 - このプロセスにより、シミュレータの簡易モデルと生成モデル訓練に必要な標準パラメトリック身体モデル間の表現ギャップを埋める。 - 拡張データセット上で生成モデルを訓練し、汎化可能なHOI生成を実現。

4. どうやって有効だと検証した?

- 包括的な実験を通じて検証。 - 未見物体への汎化性能の向上を実証。 - 長期的生成能力を示し、動的多様性と物理的妥当性が高いことを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Human-Object Interaction (HOI) generation、motion capture datasets、physics simulators、reinforcement learning、generative models (e.g., diffusion models) に関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shujia Li, Jianshu Hu, Haiyu Zhang, Yunpeng Jiang, Haoyuan Jin, Xinyuan Chen, Yaohui Wang, Yutong Ban

分類: cs.CV

原文アブストラクト

Synthesizing realistic Human-Object Interactions (HOI) is critical for creating embodied avatars and functional virtual environments. However, current data-driven approaches primarily rely on motion capture datasets, which are expensive to scale and limited in functional diversity. Models trained with these datasets fail to generalize to unseen objects and maintain physical consistency over long horizons. In this paper, we propose a novel framework that leverages a physics simulator to overcome the data-scarcity bottleneck in HOI generation. Specifically, we propose a scalable pipeline, called \ours, which leverages policies trained with reinforcement learning in a physics simulator for task-oriented data generation and trains a generative model on the augmented dataset for generalizable HOI generation. To seamlessly utilize the synthetic data, we introduce a coarse-to-fine retargeting process that bridges the representation gap between the simplified model used in physics simulator and the standard parametric body models required for generative training. Validated through comprehensive experiments, our method demonstrates enhanced generalization to unseen objects and the capability of long-horizon generation, while exhibiting greater dynamic diversity and physical plausibility.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI