日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2609.07747

Dex-X: シミュレーションによるインタラクションを用いた人間のビデオからの視覚-触覚器用操作学習

Dex-X: Learning Visual-Tactile Dexterous Manipulation From Human Videos with Simulated Interaction

シェア:XThreadsFacebookLINEはてブBluesky

人間のビデオデモから、シミュレーションで触覚情報を補完し、視覚と触覚を統合した器用な操作ポリシーを学習するフレームワークを提案。実機へのゼロショット転送を達成した。

詳しい要約

1. どんなもの？

DEX-Xは、人間のビデオデモンストレーションから視覚・触覚を用いた器用な操作ポリシーを学習するためのフレームワークである。単眼の人間デモからシミュレーション内で手と物体のインタラクションを再構築し、物理的に接地された接触ダイナミクスから触覚情報を補完する。これにより、ロボット側のデータ収集なしに、点群観測と触覚センシングに基づく展開可能なポリシーを訓練し、シミュレーションから実世界へのゼロショット転送を実現する。

2. 先行研究と比べてどこがすごい？

先行研究では、人間のビデオから操作スキルを学習する試みがあったが、触覚情報が欠如しており、接触の多いタスクには不十分だった。DEX-Xは、シミュレーションを触覚補完エンジンとして利用することで、ビデオには存在しない物理的に接地された触覚監視を提供し、視覚・触覚ポリシーの学習を可能にした点が新しい。さらに、ゼロショットのsim-to-real転送を実証し、ロボット側のデータ収集を不要にした。

3. 技術・手法の肝は？

手法の核は、シミュレーションを触覚補完エンジンとして用いることである。具体的には、単眼の人間デモから手と物体のインタラクションをシミュレーションで再構築し、物理シミュレーションの接触ダイナミクスから触覚情報を生成する。この触覚情報を用いて視覚・触覚の教師ポリシーを訓練し、その後、点群観測と触覚センシングのみに依存する展開可能なポリシーに蒸留する。

4. どうやって有効だと検証した？

シミュレーション内で6つのタスクカテゴリにわたり教師ポリシーが平均65.9%の成功率を達成した。蒸留された視覚・触覚ポリシーは、実世界のキューブピッキングで93%、テーブルクリーニングタスクで53%の成功率を達成し、ゼロショットのsim-to-real転送を実証した。また、物体ピッキングタスクにおいて、未見の物体形状へのゼロショット汎化も観察された。

5. 議論はある？

要旨からは、議論の詳細は不明であるが、提案手法の限界として、シミュレーションの再構築精度や触覚センシングの実装依存性、タスクの複雑さによる成功率の低下（テーブルクリーニングで53%）などが考えられる。また、ゼロショット転送の汎化範囲や、より多様なタスクへの拡張性については今後の検討が必要である。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連する分野として、人間のビデオからの操作学習（例えば、DexMVやRoboAgent）、視覚・触覚融合ポリシー学習（例えば、Tactile Transformer）、シミュレーションから実世界への転送（sim-to-real）に関する研究が挙げられる。具体的には、DexMVやRoboAgent、Tactile Transformerなどの論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruoqu Chen, Feixiang Ruan, Liu Cao, Zihao Wang, Botian Xu, Shiqin Tong, Jiajun Liu, Mingzhi Pei, Chenyu Zhang, Wanli Xing, Kaifeng Zhang, Mengdi Xu

分類: cs.RO

原文アブストラクト

Human videos are an abundant source of dexterous manipulation behaviors, but they lack tactile information that is crucial for contact-rich interaction. This raises a fundamental question: can robots learn deployable visual-tactile dexterous manipulation policies from human video demonstrations without robot-side data collection? We present DEX-X, a framework for learning visual-tactile dexterous manipulation from human videos through simulation. Our key insight is that simulation can serve as a tactile completion engine. Given monocular human demonstrations, DEX-X reconstructs hand-object interactions in simulation, where physically grounded contact dynamics provide tactile supervision unavailable in the original videos. Leveraging this recovered tactile information, we train visual-tactile dexterous manipulation policies and distill them into deployable policies operating on point-cloud observations and tactile sensing. We demonstrate zero-shot sim-to-real transfer on a dexterous hand-arm platform across diverse grasping and contact-rich tool-use tasks. The teacher policy achieves 65.9% average success across six task categories in simulation, while the distilled visual-tactile policy achieves 93% success on real-world cube picking and 53% on the challenging table-cleaning task. Zero-shot generalization to unseen object geometries is also observed on object-picking tasks. Our results suggest that simulated interaction is a key bridge between human videos and deployable dexterous manipulation policies, providing the missing physical supervision needed for scalable robot skill learning from Internet-scale human video data.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →