日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.15786

DexCanvas: 人間の実演とロボット学習を繋ぐ巧みな操作の大規模データセット

DexCanvas: Bridging Human Demonstrations and Robot Learning for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

70時間の人間の実演を基に、物理シミュレーションで検証された接触力注釈付きの7000時間の巧みな手操作データセットを構築した。

詳しい要約

1. どんなもの?

- DexCanvas は大規模な hybrid real-synthetic の human manipulation dataset - 7,000 時間の dexterous hand-object interactions を含む - 70 時間の real human demonstrations を種に拡張 - Cutkosky taxonomy に基づく 21 の fundamental manipulation types で整理 - 各エントリの構成 - 同期された multi-view RGB-D - 高精度 mocap と MANO hand parameters - per-frame contact points と物理的に整合する force profiles

2. 先行研究と比べてどこがすごい?

- 主張されている新規性 - 大規模 real demonstrations、taxonomy に基づく体系的な skill coverage、physics-validated contact annotations を初めて組み合わせた manipulation dataset と位置づけ - 先行研究との具体的な比較数値や個別手法との差分は要旨からは不明 - 既存 dataset が contact force の物理妥当性をどこまで担保していたかは要旨からは不明

3. 技術・手法の肝は?

- real-to-sim pipeline が中核 - reinforcement learning で actuated MANO hand を physics simulation 内で制御する policy を学習 - human demonstrations を再現しつつ、観測された object motion を生む contact forces を推定 - データ構成の肝 - real demonstrations を種に synthetic へ拡張する hybrid 設計 - Cutkosky taxonomy による 21 種類への skill 分類 - multi-view RGB-D、mocap、MANO parameters、contact points、force profiles の同期

4. どうやって有効だと検証した?

- 検証の枠組み - physics simulation 上で demonstrations の object motion を再現できるかを指標に、推定 contact forces の物理的整合性を確認する構成 - 具体的な評価指標、定量結果、baseline 比較、被験者実験の有無は要旨からは不明

5. 議論はある?

- 想定される貢献・議論点 - contact-rich control や skill transfer across different hand morphologies への活用可能性 - real と synthetic を混在させることの妥当性 - 限界や失敗事例、sim-to-real gap、データ bias、倫理面の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は明示されていない - 関連して読むべき定番として以下が考えられる - Cutkosky taxonomy の原論文 - MANO hand model の原論文 - dexterous manipulation の代表的数据セット(例: DexYCB, ContactDB, OakInk など) - reinforcement learning による real-to-sim 転送や contact force 推定の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyue Xu, Jieqiang Sun, Jing, Dai, Siyuan Chen, Lanjie Ma, Ke Sun, Bin Zhao, Jianbo Yuan, Sheng Yi, Haohua Zhu, Yiwen Lu

分類: cs.RO, cs.LG

原文アブストラクト

We present DexCanvas, a large-scale hybrid real-synthetic human manipulation dataset containing 7,000 hours of dexterous hand-object interactions seeded from 70 hours of real human demonstrations, organized across 21 fundamental manipulation types based on the Cutkosky taxonomy. Each entry combines synchronized multi-view RGB-D, high-precision mocap with MANO hand parameters, and per-frame contact points with physically consistent force profiles. Our real-to-sim pipeline uses reinforcement learning to train policies that control an actuated MANO hand in physics simulation, reproducing human demonstrations while discovering the underlying contact forces that generate the observed object motion. DexCanvas is the first manipulation dataset to combine large-scale real demonstrations, systematic skill coverage based on established taxonomies, and physics-validated contact annotations. The dataset can facilitate research in robotic manipulation learning, contact-rich control, and skill transfer across different hand morphologies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI