日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成/インタラクションarXiv:2606.18243

MOCHI: 協調的な人と物体のインタラクションの動作強調

MOCHI: Motion Enhancement of Collaborative Human-object Interactions

シェア:XThreadsFacebookLINEはてブBluesky

複数人と物体が同時に関わる協調インタラクションのノイズを含む動作データを、物理的に妥当な手の把持生成と拡散モデルによる全身動作の最適化で高品質に補正する2段階フレームワークを提案した。

詳しい要約

1. どんなもの?

- 協調的な人間-物体相互作用(MHOI)のノイズの多いキャプチャデータを改善するための2段階フレームワークMOCHIを提案。 - 第1段階では、ノイズの多い身体入力から物理的に妥当で意味的に一貫した手の把持を最適化により生成し、完全な手-物体相互作用シーケンスに拡張。 - 第2段階では、単一人物の運動事前分布を用いた拡散ベースのノイズ最適化により、全参加者の全身運動を洗練。 - 人間-物体および人間-人間相互作用情報を最適化目的に組み込む。 - 多様なMHOIデータで有効性を実証し、参加者数や相互作用タイプの変化に対するロバスト性、キーフレームベースのMHOI作成や物体形状変化によるデータ拡張などの応用を示す。

2. 先行研究と比べてどこがすごい?

- 従来のMHOIキャプチャは、手と物体の接触ミスアライメント、運動ジッター、時間的不整合、指の関節詳細の欠落などのアーティファクトが生じる。 - MOCHIはこれらの問題に対処する初の2段階フレームワークであり、物理的妥当性と意味的一貫性を両立。 - 既存のキャプチャ手法や生成モデルで得られたデータに適用可能で、多様なMHOIデータで有効性を確認。 - 単一人物の運動事前分布を活用しつつ、人間-物体および人間-人間相互作用を最適化に組み込む点が新しい。

3. 技術・手法の肝は?

- 2段階フレームワーク:第1段階でノイズの多い身体入力から物理的に妥当で意味的に一貫した手の把持を最適化により生成し、完全な手-物体相互作用シーケンスに拡張。 - 第2段階で単一人物の運動事前分布を用いた拡散ベースのノイズ最適化フレームワークにより、全参加者の全身運動を洗練。 - 最適化プロセス中に人間-物体および人間-人間相互作用情報をエンコードする最適化目的を導入。

4. どうやって有効だと検証した?

- 多様なMHOIデータ(既存のキャプチャ手法で取得されたデータや生成モデルで合成されたデータ)に対して実験を行い、パイプラインの有効性を実証。 - 参加者数や相互作用タイプの変化に対するロバスト性を示す。 - キーフレームベースのMHOI作成や物体形状変化によるデータ拡張などの応用を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、単一人物運動事前分布を用いた拡散モデル、手の把持生成の最適化手法、MHOIキャプチャ技術などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiye Lee, Yonghun Choi, Jungdam Won

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Collaborative human-object interaction shows dynamic and complex movements that require mutual anticipation and continuous adjustment between participants and the shared object. Modeling such collaborative multi-human object interaction (MHOI) scenarios requires high-quality data acquisition as a foundational step; however, this is challenging due to the inherent complexity of MHOI where human-human and human-object interactions occur simultaneously. Such complexity leads to noisy MHOI captures characterized by several artifacts: contact misalignment between hands and objects, motion jitter and temporal inconsistencies in the captured sequences, and missing or incomplete finger-level articulation details. To address these challenges, we present MOCHI (MOtion Enhancement of Collaborative Human-object Interactions), a two-stage framework for enhancing noisy MHOI data. Our approach first generates physically plausible hand grasps through optimization from noisy body input, producing grasps that are both physically plausible and semantically consistent with the body pose, where these optimized grasps are extended into complete hand-object interaction sequences. Consequently, the full-body motion for all participants are refined through a diffusion-based noise optimization framework that uses single-person motion priors. During the optimization process, we introduce optimization objectives to encode human-object and human-human interaction information within these single-person priors. Experimental results demonstrate the effectiveness of our pipeline across diverse MHOI data, either acquired by existing capture methods or synthesized by generative models. We further show robustness of our system across varying numbers of participants and types of interactions, and demonstrate various applications including keyframe-based MHOI creation and data augmentation through varying object geometries.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI