日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

全身マニピュレーションarXiv:2508.14120

SimGenHOI: 生成モデルと強化学習による物理的にリアルな全身ヒューマノイド-物体インタラクション

SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡散トランスフォーマーでテキストと物体形状から全身動作を生成し、強化学習による接触考慮型制御で貫通や足滑りを補正することで、物理的に実現可能なヒューマノイドの物体操作を生成するフレームワーク。

詳しい要約

1. どんなもの?

- SimGenHOIは、ヒューマノイドと物体の相互作用(HOI)を物理的に実現可能な形で生成する統合フレームワーク。 - 生成モデリングと強化学習(RL)を組み合わせ、制御可能かつ物理的に妥当なHOIを生成する。 - 生成モデルがテキスト・物体形状・スパースな物体waypoints・初期姿勢を条件にキーアクションを予測し、補間して長期的生成を可能にする。 - RLで訓練したcontact-aware whole-body制御ポリシーが生成動作を追従し、penetrationやfoot slidingを補正する。

2. 先行研究と比べてどこがすごい?

- 既存のdiffusion-basedなHOI生成は、不自然な接触・penetration・非現実的な全身動作などのアーティファクトを生み、実環境での実行が困難だった。 - SimGenHOIは生成モデル単体ではなく、RL制御ポリシーと相互fine-tuningすることで、物理的妥当性と追従ロバスト性を両立させる点が異なる。 - シミュレーションでのtracking成功率が大幅に向上し、long-horizon manipulationが可能になったと主張。

3. 技術・手法の肝は?

- Diffusion Transformers(DiT)ベースのHOI生成モデルが、text prompts・object geometry・sparse object waypoints・初期humanoid poseを条件にキーアクションを予測。 - キーアクションを補間して滑らかなmotion trajectoriesを生成し、long-horizon生成を自然に支援。 - contact-aware whole-body control policyをRLで訓練し、生成動作を追従しつつpenetrationやfoot slidingを補正。 - mutual fine-tuning戦略により、生成モデルと制御ポリシーを反復的に相互改善。

4. どうやって有効だと検証した?

- 広範な実験を実施し、リアルで多様かつ物理的に妥当なHOIを生成できることを示した。 - シミュレーションにおいて大幅に高いtracking success rateを達成。 - long-horizon manipulationタスクが可能であることを実証。 - 具体的なデータセット名や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 既存手法のアーティファクト(不自然な接触・penetration・非現実的な全身動作)を、生成とRL制御の組み合わせで緩和する点を議論。 - mutual fine-tuningがmotion realismとtracking robustnessの両方を改善することを主張。 - 実機実験やsim-to-realの詳細、限界については要旨からは不明。

6. 次に読むべき論文は?

- diffusion-based HOI生成モデル(要旨で比較対象として言及)。 - Diffusion Transformers(DiT)。 - contact-aware whole-body controlおよびRL-based motion trackingの関連研究。 - humanoid-object interaction生成の定番として、motion generationとphysics-based character controlの関連論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhang Lin, Yijia Xie, Jiahong Xie, Yuehao Huang, Ruoyu Wang, Jiajun Lv, Yukai Ma, Xingxing Zuo

分類: cs.RO, cs.AI

原文アブストラクト

Generating physically realistic humanoid-object interactions (HOI) is a fundamental challenge in robotics. Existing HOI generation approaches, such as diffusion-based models, often suffer from artifacts such as implausible contacts, penetrations, and unrealistic whole-body actions, which hinder successful execution in physical environments. To address these challenges, we introduce SimGenHOI, a unified framework that combines the strengths of generative modeling and reinforcement learning to produce controllable and physically plausible HOI. Our HOI generative model, based on Diffusion Transformers (DiT), predicts a set of key actions conditioned on text prompts, object geometry, sparse object waypoints, and the initial humanoid pose. These key actions capture essential interaction dynamics and are interpolated into smooth motion trajectories, naturally supporting long-horizon generation. To ensure physical realism, we design a contact-aware whole-body control policy trained with reinforcement learning, which tracks the generated motions while correcting artifacts such as penetration and foot sliding. Furthermore, we introduce a mutual fine-tuning strategy, where the generative model and the control policy iteratively refine each other, improving both motion realism and tracking robustness. Extensive experiments demonstrate that SimGenHOI generates realistic, diverse, and physically plausible humanoid-object interactions, achieving significantly higher tracking success rates in simulation and enabling long-horizon manipulation tasks. Code will be released upon acceptance on our project page: https://xingxingzuo.github.io/simgen_hoi.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI