マニピュレーション2025/12/1arXiv:2512.13644

人間の動画から巧みな手と物体の相互作用を学習する世界モデル

World Models for Learning Dexterous Hand-Object Interactions from Human Videos

一人称視点の人間動画から指のキーポイントを抽出し、巧みな手の動作を予測する世界モデルDexWMを提案。補助的な手の一貫性損失により、Franka PandaとAllegroグリッパーでのゼロショット転移でDiffusion Policyを50%以上上回る。

詳しい要約

1. どんなもの？

- DexWM という Dexterous Interaction World Model の提案 - 入力: 過去の latent state と dexterous action - 出力: 環境の将来 latent state を予測する world model - 対象: dexterous hand-object interaction のモデリング - 目的: fine-grained dexterity を扱える world model の実現

2. 先行研究と比べてどこがすごい？

- 既存の world model は coarse action space を用いるため fine-grained dexterity を捉えられない - DexWM は dexterous action を条件に将来 latent state を予測 - text・navigation・full-body action 条件の prior world model より future-state prediction で優位 - Franka Panda arm + Allegro gripper で zero-shot transfer し、Diffusion Policy を grasping・placing・reaching で平均 50% 以上上回る

3. 技術・手法の肝は？

- finger keypoints を egocentric videos から抽出し action 表現として使用 - これにより finely annotated dexterous dataset の不足を緩和 - 900 時間超の human データと non-dexterous robot データで学習可能 - 視覚特徴のみの予測では dexterity を正確にモデル化できないと知見 - auxiliary hand consistency loss を導入し正確な hand configuration を強制

4. どうやって有効だと検証した？

- future-state prediction で text・navigation・full-body action 条件の prior world model と比較 - Franka Panda arm + Allegro gripper で未見 skill への zero-shot transfer を評価 - grasping・placing・reaching タスクで Diffusion Policy と比較し平均 50% 以上上回る - 詳細な実験設定・データセットは要旨からは不明

5. 議論はある？

- finely annotated dexterous dataset の不足を finger keypoints で回避する設計の妥当性 - 視覚特徴のみでは不十分で hand consistency loss が必要という知見の一般性 - human データと non-dexterous robot データを混ぜた学習の限界 - zero-shot transfer の範囲や実機での頑健性は要旨からは不明

6. 次に読むべき論文は？

- Diffusion Policy - text 条件の world model - navigation 条件の world model - full-body action 条件の world model - egocentric videos を用いた hand pose / keypoint 抽出手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Raktim Gautam Goswami, Amir Bar, David Fan, Tsung-Yen Yang, Gaoyue Zhou, Prashanth Krishnamurthy, Michael Rabbat, Farshad Khorrami, Yann LeCun

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Modeling dexterous hand-object interactions is challenging as it requires understanding how subtle finger motions influence the environment through contact with objects. While recent world models address interaction modeling, they typically rely on coarse action spaces that fail to capture fine-grained dexterity. We, therefore, introduce DexWM, a Dexterous Interaction World Model that predicts future latent states of the environment conditioned on past states and dexterous actions. To overcome the scarcity of finely annotated dexterous datasets, DexWM represents actions using finger keypoints extracted from egocentric videos, enabling training on over 900 hours of human and non-dexterous robot data. Further, to accurately model dexterity, we find that predicting visual features alone is insufficient; therefore, we incorporate an auxiliary hand consistency loss that enforces accurate hand configurations. DexWM outperforms prior world models conditioned on text, navigation, or full-body actions in future-state prediction and demonstrates strong zero-shot transfer to unseen skills on a Franka Panda arm with an Allegro gripper, surpassing Diffusion Policy by over 50% on average across grasping, placing, and reaching tasks.

arXivで原文を読む →arXiv概要ページ

人間の動画から巧みな手と物体の相互作用を学習する世界モデル

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell