拡散モデル/手と物体のインタラクション2026/7/2arXiv:2607.01768

JointHOI: 接触マップの同時生成による手と物体のインタラクション生成の強化

JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

テキストから手と物体のインタラクションを生成する際、接触マップを同時生成する単一ステージの拡散モデルを提案し、物理的整合性を向上させた。

詳しい要約

1. どんなもの？

JointHOIは、テキストから3Dの手と物体のインタラクション（HOI）モーションを生成する単一ステージの拡散フレームワークである。動的な距離ベースの接触マップを補助的な内部モダリティとして同時に生成し、接触とモーションの結合を学習する。推論時には接触ガイド付きサンプリングにより、生成された接触マップとモーションから推定される幾何学的一貫性を強化し、浮きや貫通などの物理的 plausibility を改善する。

2. 先行研究と比べてどこがすごい？

先行研究は、明示的な接触キューや暗黙的な grasp priors を用いるが、多くは多段階パイプラインに依存し、時間的に変化する接触をモデル化できない。JointHOIは、接触を内部モダリティとして扱い、単一ステージでモーションと接触マップを同時生成することで、接触とモーションの結合を学習し、時間的安定性を向上させる点が新しい。

3. 技術・手法の肝は？

手法の肝は、接触マップを補助的な内部モダリティとして拡散モデルに組み込み、訓練中に接触とモーションの結合を学習させること。推論時には、接触ガイド付きサンプリングにより、生成された接触マップとモーションから暗黙に導かれる幾何学的一貫性を enforce し、貫通や浮きを低減する。

4. どうやって有効だと検証した？

GRAB と ARCTIC データセットを用いた実験で、テキストへの忠実度と物理的 plausibility の指標において、先行手法と比較して一貫した改善を示した。

5. 議論はある？

要旨からは、特定の議論や限界は明示されていないが、接触マップの定義や生成品質、異なるオブジェクト形状への一般化などが潜在的な課題として考えられる。詳細は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている先行研究や関連手法として、明示的な接触キューを用いる手法や暗黙的な grasp priors を用いる手法が挙げられる。具体的には、テキスト駆動のHOI生成に関する既存研究（例：Text2HOI など）や、拡散モデルを用いたモーション生成研究（例：MDM）が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingyeong Song, Jungbin Cho, Jisoo Kim, Ananya Bal, Kartik Sharma, Youngjae Yu, Laszlo A. Jeni, Junhyug Noh

分類: cs.CV

原文アブストラクト

Text driven hand object interaction (HOI) generation is gaining attention for immersive applications and robotics, yet producing physically plausible interactions remains challenging. Even when individual motions appear natural, small contact errors can cause conspicuous artifacts such as floating and interpenetration. Prior methods mitigate these issues using explicit contact cues or implicit grasp priors, but typically rely on multi stage pipelines and fail to model temporally evolving contact. We present JointHOI, a single stage diffusion framework that jointly generates 3D hand object motion and dynamic, distance based contact maps from text. By treating contact as an auxiliary inner modality, joint generation enables the model to learn contact motion coupling during training. At inference, contact guided sampling enforces consistency between generated contact maps and motion implied geometry, improving temporal stability and reducing penetration and floating. Experiments on GRAB and ARCTIC demonstrate consistent improvements in text adherence and physical plausibility over prior methods.

arXivで原文を読む →arXiv概要ページ

← 論文一覧