日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.08390

DuetHOI: 言語ガイドによる両手・物体動作生成と関節動作計画・接触精緻化

DuetHOI: Language-Guided Bimanual Hand--Object Motion Generation with Articulation Planning and Contact Refinement

シェア:XThreadsFacebookLINEはてブBluesky

言語指示から両手で関節物体を操作する動作を生成するフレームワークDuetHOIを提案し、接触意図予測・関節軌道計画・両手動作生成・接触精緻化を組み合わせて高精度な相互作用を実現した。

詳しい要約

1. どんなもの?

- 言語と物体形状を入力に、両手で関節物体を操作する動作生成を行うフレームワーク - 物体の関節運動の進行、両手の協調、細かい接触を同時に扱う - 物体と手の運動を単一の高次元系列で符号化する従来法と異なり、構造化された複数モジュールで構成 - ContactVAE、ArtPlanner、DualFormer、ManiVAE、ProxiRefine を組み合わせる - 関節物体と剛体物体、片手と両手の設定で評価

2. 先行研究と比べてどこがすごい?

- 従来法は物体と手の運動を統合した高次元系列で表現し、操作進行・両手相対運動・局所手姿勢のスケール差を明示的に扱いにくい - DuetHOI はこれらを分離した構造で扱い、明示的に異なるスケールを考慮 - 関節物体と剛体物体、片手・両手設定で3つの適応ベースラインを多くの接触・手物体整合性指標で上回る - 特に両手関節物体操作生成で強い結果

3. 技術・手法の肝は?

- ContactVAE が言語と物体形状から物体表面上の接触意図を予測 - その空間意図を条件に ArtPlanner が軌道レベルの関節運動参照を提供 - DualFormer が物体状態、物体中心の手位置、ManiVAE が学習したコンパクトな手姿勢トークンを用いて全体の相互作用を生成 - 全体生成後、ProxiRefine が物体軌道を固定し、現在の手物体近接度に基づき両手を残差的に補正 - これにより局所的な表面整合を改善

4. どうやって有効だと検証した?

- 関節物体と剛体物体、片手と両手の設定で実験 - 3つの適応ベースラインと比較 - 多くの接触指標と手物体整合性指標で DuetHOI が優位 - 特に両手関節物体操作生成で強い結果を示す

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない - 関連手法として VAE ベースの動作生成、Transformer ベースの動作生成、関節物体操作、両手操作の定番研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhi Wang, Yuyan Liu, Liu liu, Ruonan Liu, Ruixuan Liu

分類: cs.RO, cs.CV

原文アブストラクト

Bimanual articulated-object interaction generation requires a model to capture the evolution of object articulation, coordination between the two hands, and fine-grained hand--object contact. Existing methods typically encode object and hand motion as a unified high-dimensional sequence, making it difficult to explicitly accommodate the different scales of manipulation progress, relative bimanual motion, and local hand pose. We propose \textbf{DuetHOI}, a structured framework for bimanual articulated-object interaction generation. DuetHOI first uses ContactVAE to predict contact intent on the object surface from language and object geometry. Conditioned on this spatial intent, ArtPlanner provides a trajectory-level articulation reference, and DualFormer generates the global interaction using object states, object-centered hand positions, and compact hand-pose tokens learned by ManiVAE. After global generation, ProxiRefine fixes the object trajectory and residually corrects the two hands using current hand--object proximity, improving local surface alignment. Experiments across articulated and rigid objects and single- and bimanual settings show that DuetHOI outperforms three adapted baselines on most contact and hand--object consistency metrics, with particularly strong results in bimanual articulated interaction generation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI