日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2605.30444

Dex2HOI: 器用な両手による二物体インタラクション生成

Dex2HOI: Dexterous Bimanual Two-Object Interaction Generation

シェア:XThreadsFacebookLINEはてブBluesky

両手で複数の物体を同時に操作する人間の動作を、テキストから生成する拡散モデルを提案した論文。

詳しい要約

1. どんなもの?

- テキストから単一および二物体のHOI(Human-Object Interaction)を合成する統合拡散モデルDex2HOIを提案。 - 両手で複数物体を同時に操作する人間の自然な行動を対象とし、4D HOI生成の新たな枠組みを提供。 - 単一物体操作だけでなく、二物体操作にも対応し、リアルタイム速度で任意長のシーケンスを生成可能。

2. 先行研究と比べてどこがすごい?

- 従来の4D HOI生成は単一物体操作に限定され、両手・複数物体の同時操作を無視していた。 - Dex2HOIは単一・二物体の両方で最先端の定量結果を達成し、従来の単一物体HOI生成を超える。 - 推論速度は最大x540の高速化を実現し、テスト時最適化を不要にした。

3. 技術・手法の肝は?

- Dual-Stream Diffusionを採用し、各物体を専用のインタラクションストリームで処理し、双方向クロスアテンションで調整。 - Motion Fusion Networkを導入し、新しい手相対物体表現と接触認識条件付けをシーケンス全体に適用。 - プレフィックス条件付きウィンドウで拡散過程を自己回帰的にサンプリングし、任意長シーケンスをリアルタイム生成。

4. どうやって有効だと検証した?

- 単一物体および二物体のベンチマークで広範な評価を実施。 - 最先端の定量的結果を示し、従来手法を上回る性能を確認。 - 推論速度の大幅な向上(最大x540)も検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として、単一物体HOI生成の先行研究(例:4D HOI generation、text-to-motion synthesis)や拡散モデルを用いた動作生成手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chrysa Pratikaki, Pablo Ruiz-Ponce, Jiankang Deng, Stefanos Zafeiriou, Rolandos Alexandros Potamias

分類: cs.CV

原文アブストラクト

Recent advances in 4D Human-Object Interaction (HOI) generation have enabled increasingly realistic motion synthesis, particularly for single-object manipulation. Yet current research overlooks an inherent property of human behavior: people naturally coordinate both hands and manipulate multiple objects simultaneously. To address this gap, we present Dex2HOI, a unified diffusion model for single- and two-object HOI synthesis from text. At its core, Dex2HOI employs a Dual-Stream Diffusion approach, where each object is processed in a dedicated interaction stream and coordinated through bidirectional cross-attention. To synthesize the final motion, we introduce a Motion Fusion Network integrated with novel hand-relative object representations and contact-aware conditioning applied across the whole sequence. By sampling the diffusion process autoregressively over prefix-conditioned windows, Dex2HOI generates arbitrarily long sequences at real-time speed omitting redundant test-time optimization, achieving up to x540 inference speed-up over prior state-of-the-art methods. Extensive evaluation on both single- and two-object benchmarks demonstrates state-of-the-art quantitative results, marking a step beyond conventional single-object HOI generation and toward expressive multi-object manipulation. Code and models will be released upon acceptance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI