日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手と物体のインタラクション生成arXiv:2604.10836

HO-Flow: 潜在フローマッチングによる汎用的な手と物体のインタラクション生成

HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching

シェア:XThreadsFacebookLINEはてブBluesky

テキストと3D物体から手と物体のインタラクション動作を生成するフレームワークを提案。相互作用を考慮したVAEとマスク付きフローマッチングで時間的一貫性と物理的妥当性を向上させた。

詳しい要約

1. どんなもの?

テキストと正準3Dオブジェクトからリアルな3D hand-object interaction (HOI) の時系列を生成するフレームワーク HO-Flow を提案。 - 目的: 時間的一貫性と物理的妥当性を両立するHOI生成。 - 構成: interaction-aware variational autoencoder と masked flow matching model。 - 対象: 手と物体の運動列を統合潜在空間で表現し生成。

2. 先行研究と比べてどこがすごい?

既存手法は表現力のある運動表現の学習と時間的推論が限定的。 - HO-Flow は interaction-aware VAE で手と物体の運動学を統合潜在多様体に符号化。 - masked flow matching で自己回帰的時間推論と連続潜在生成を組み合わせ、時間的一貫性を改善。 - 物体運動を初期フレーム相対で予測し、大規模合成データでの事前学習を可能にし汎化性を向上。

3. 技術・手法の肝は?

interaction-aware variational autoencoder で手と物体の運動列を統合潜在多様体に符号化。 - 手と物体の kinematics を組み込み、豊かな interaction dynamics を捕捉。 - masked flow matching model が auto-regressive temporal reasoning と continuous latent generation を統合。 - 物体運動を初期フレーム相対で予測し、大規模合成データでの事前学習を実現。

4. どうやって有効だと検証した?

GRAB, OakInk, DexYCB ベンチマークで評価。 - 物理的妥当性と運動多様性の両方で state-of-the-art 性能を達成。 - 詳細な評価指標や比較手法は要旨からは不明。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、リアルタイム性などへの言及はない。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として variational autoencoder, flow matching, masked modeling の文献。 - ベンチマーク GRAB, OakInk, DexYCB を用いた HOI 生成の先行研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zerui Chen, Rolandos Alexandros Potamias, Shizhe Chen, Jiankang Deng, Cordelia Schmid, Stefanos Zafeiriou

分類: cs.CV, cs.RO

原文アブストラクト

Generating realistic 3D hand-object interactions (HOI) is a fundamental challenge in computer vision and robotics, requiring both temporal coherence and high-fidelity physical plausibility. Existing methods remain limited in their ability to learn expressive motion representations for generation and perform temporal reasoning. In this paper, we present HO-Flow, a framework for synthesizing realistic hand-object motion sequences from texts and canoncial 3D objects. HO-Flow first employs an interaction-aware variational autoencoder to encode sequences of hand and object motions into a unified latent manifold by incorporating hand and object kinematics, enabling the representation to capture rich interaction dynamics. It then leverages a masked flow matching model that combines auto-regressive temporal reasoning with continuous latent generation, improving temporal coherence. To further enhance generalization, HO-Flow predicts object motions relative to the initial frame, enabling effective pre-training on large-scale synthetic data. Experiments on the GRAB, OakInk, and DexYCB benchmarks demonstrate that HO-Flow achieves state-of-the-art performance in both physical plausibility and motion diversity for interaction motion synthesis.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI