日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2609.33882

DexTaG: 触覚をガイドにした強化学習による巧みな操作

DexTaG: Tactile-as-Guidance in Reinforcement Learning for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

グローブ型モーションキャプチャの触覚信号を強化学習のガイドとして用い、人間の接触パターンを保ちながらロボットハンドの巧みな道具操作を実現するフレームワークを提案。

詳しい要約

1. どんなもの？

- どんなもの？ - 手袋型モーションキャプチャで収集した人間の巧みな手のデモンストレーションデータをロボットハンドで実行するための、触覚誘導強化学習フレームワークDexTaGを提案。 - 接触が多い工具使用タスク（手内回転を含む）を対象とし、シミュレーションで訓練し、実世界展開用に触覚不要の学生コントローラに蒸留する。 - マーカーペンとハンマーの操作タスクで評価。

2. 先行研究と比べてどこがすごい？

- 先行研究と比べてどこがすごい？ - 従来のRLや軌道最適化によるリターゲティングでは人間の接触パターンを保持しにくく、不自然な操作や不安定な機能把持が生じやすかった。 - DexTaGは触覚信号をガイドに用いることで、正確な参照形状への依存を減らし、接触リッチな自然な振る舞いを学習。 - 同一物体の全訓練軌道に対して単一の汎化可能なリターゲッターを訓練し、効率を向上。 - 距離ベースの接触ヒューリスティックを用いるベースラインが失敗するタスクで成功し、同一物体・タスクの未見軌道に汎化、OakInk2で単一軌道ベースラインを上回る。

3. 技術・手法の肝は？

- 技術や手法の肝はどこ？ - 訓練中、手袋で取得した触覚信号がポリシー探索を人間の接触パターンに誘導。 - 同一物体の全訓練軌道で単一の汎化可能なリターゲッターを共同訓練。 - リターゲッターを目標物体軌道に条件付けられた触覚不要の学生コントローラに蒸留し、実世界展開を可能にする。

4. どうやって有効だと検証した？

- どうやって有効だと検証した？ - マーカーペンとハンマーの操作タスクで評価。 - 距離ベースの接触ヒューリスティックを用いるベースラインと比較し、DexTaGが自然で接触リッチな振る舞いを学習することを確認。 - 同一物体・タスクの未見軌道への汎化を検証。 - OakInk2データセットで単一軌道ベースラインを上回る性能を示す。

5. 議論はある？

- 議論はある？ - 要旨からは不明。

6. 次に読むべき論文は？

- 次に読むべき論文は？ - 要旨で参照/比較されている研究：RLや軌道最適化によるリターゲティング、距離ベースの接触ヒューリスティック、OakInk2データセット。 - 関連手法：触覚誘導強化学習、手袋型モーションキャプチャ、リターゲティング、蒸留。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Han Yang, Yian Wang, Yunlong Song, Zhenjia Xu, Chuang Gan

分類: cs.RO

原文アブストラクト

Glove-based motion capture is emerging as a scalable approach to collecting dexterous-hand demonstration data. However, due to the kinematic gap between the human and robot hand, the recorded human motions cannot be executed directly on the robot, especially for contact-rich tool-use tasks involving in-hand reorientation. Prior work bridges this gap in simulation through reinforcement learning (RL) or trajectory optimization, but the human contact pattern is hard to preserve under such formulations, often producing unnatural manipulation and unstable functional grasps. These methods also train a separate policy or solve a separate optimization for each reference trajectory, which is inefficient. To solve these problems, we propose DexTaG, a tactile-guided RL framework for dexterous manipulation. During training, tactile signals captured by the glove guide policy search toward the measured human contact pattern, reducing reliance on precise reference geometry for contact supervision. To improve efficiency, we train a single generalizable retargeter jointly on all training trajectories of the same object. The retargeter is further distilled into a tactile-free student controller conditioned on the target object trajectory for real-world deployment. On marker-pen and hammer manipulation tasks, DexTaG learns natural, contact-rich behaviors that baselines with distance-based contact heuristics fail to learn, generalizes to held-out trajectories of the same object and task, and outperforms single-trajectory baselines on OakInk2.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →