日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

器用手/表現学習arXiv:2606.10683

UniDexTok: 実データからの統合器用手トークナイザ

UniDexTok: A Unified Dexterous Hand Tokenizer from Real Data

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットの手の状態を共通の22自由度セマンティックインターフェースにマッピングし、再ターゲティング不要で異種の器用手を統一表現するトークナイザを提案。誤差をセンチメートルからサブミリメートルに大幅削減した。

詳しい要約

1. どんなもの?

- ロボティクス/フィジカルAIの研究。 - タイトル: UniDexTok: A Unified Dexterous Hand Tokenizer from Real Data。 - 内容: 多様なロボットハンドと人間の手の状態を統一表現する枠組み。 - 提案: Unified Dexterous Hand Model (UDHM) と UniDexTok。 - UDHM: 人間とロボットの手の状態を共有の22-DoF意味インターフェースに写像。 - UniDexTok: retargeting不要の状態tokenizer。 - 実データからembodiment-conditioned離散トークンを学習。 - 異種ハンドの統合表現を提供。

2. 先行研究と比べてどこがすごい?

- 先行研究: 最近のベースライン UniHM。 - 比較: UniDexTokはMPJAEを15.63度から0.16度へ削減。 - MPJPEを18.51 mmから0.18 mmへ削減。 - 誤差削減率: 98.98%と99.03%。 - 再構成精度をセンチメートル級からサブミリメートル級へ改善。 - 従来はretargetingやシミュレーションデータに依存していたが、UniDexTokは不要。 - 異種ハンドデータの断片化を解消し、共同学習を可能にする。

3. 技術・手法の肝は?

- 核: Unified Dexterous Hand Model (UDHM)。 - 人間とロボットの手の状態を22-DoFの共有意味インターフェースにマッピング。 - 標準化された実関節状態からembodiment-conditioned離散トークンを学習。 - retargeting不要の状態tokenizer。 - シミュレーションデータに依存せず、実データのみを使用。 - 異種ハンド間で統一表現を実現。 - 詳細なアーキテクチャや学習アルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

- ベースラインUniHMとの比較実験。 - 指標: MPJAE (Mean Per Joint Angle Error) と MPJPE (Mean Per Joint Position Error)。 - 結果: MPJAE 15.63度→0.16度、MPJPE 18.51 mm→0.18 mm。 - 誤差削減率: 98.98%と99.03%。 - 再構成精度がセンチメートル級からサブミリメートル級へ向上。 - 他embodimentのデータがターゲットembodimentの再構成精度を改善することを示す。 - 新しいハンド導入時のzero-shotおよびfew-shot再構成能力を確認。

5. 議論はある?

- 異種ハンド間のデータ断片化と共同学習の困難さを解決。 - クロスembodiment tokenizationの利点を実証。 - zero-shot/few-shot再構成能力が新しいハンドに有効。 - 限界や課題、今後の方向性は要旨からは不明。 - 実データのみでretargeting不要という点が議論の焦点。

6. 次に読むべき論文は?

- 要旨で参照/比較: UniHM (最近のベースライン)。 - 関連手法: retargeting、シミュレーションデータを用いた手法。 - 同分野の定番: 並列グリッパー向けの状態表現、dexterous handの運動学・関節定義の標準化。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dong Fang, Youjun Wu, Yuanxin Zhong, Rui Zhang, Yunlong Wang, Xiaosong Jia, Yu-Gang Jiang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Dexterous hands are essential for fine-grained manipulation, but their hardware designs vary substantially across embodiments. Differences in kinematics, joint definitions, and degrees of freedom make it difficult to define a shared state representation compared with parallel grippers. As a result, dexterous-hand data remains fragmented and difficult to use for joint training. In this work, we propose the Unified Dexterous Hand Model (UDHM), which maps human and robot hand states into a shared 22-DoF semantic interface. Based on UDHM, we introduce UniDexTok, a retargeting-free state tokenizer that learns embodiment-conditioned discrete tokens from standardized real joint states. UniDexTok provides a unified representation for heterogeneous dexterous hands without relying on retargeting or simulation data. Compared with the recent baseline UniHM, UniDexTok reduces MPJAE from 15.63 degrees to 0.16 degrees and MPJPE from 18.51 mm to 0.18 mm, corresponding to error reductions of 98.98% and 99.03%, respectively. These results improve reconstruction from centimeter-scale to sub-millimeter accuracy. Experiments further show that data from other embodiments improves target-embodiment reconstruction accuracy, demonstrating the benefit of cross-embodiment tokenization. UniDexTok also shows strong zero-shot and few-shot reconstruction ability when new dexterous hands are introduced.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI