日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

器用操作arXiv:2605.21330

関節センサと固有感覚トランスフォーマーによる堅牢な器用な手内操作の学習

Learning Robust Dexterous In-Hand Manipulation from Joint Sensors with Proprioceptive Transformer

シェア:XThreadsFacebookLINEはてブBluesky

腱駆動の器用な手で、関節センサのみを用いて立方体を連続回転させる手法を提案。教師ポリシーから蒸留したトランスフォーマーが関節履歴から物体状態を抽出し、実機で高速回転を達成した。

詳しい要約

1. どんなもの?

- 腱駆動型のdexterous handにおけるin-hand object manipulationを、joint sensingのみで実現する手法。 - Proprioceptive Transformer (PT)を提案。 - 外部知覚(vision/tactile)を使わず、joint positionとvelocityの履歴のみで連続的なcube rotationを行う。 - 実機ORCA handで検証。

2. 先行研究と比べてどこがすごい?

- 既存研究はvisionやtactile sensingに依存して物体状態を追跡するものが主流。 - joint sensingは最も利用可能なモダリティでありながら、特にtendon-driven handではほとんど顧みられていない。 - 本研究はjoint sensingのみでどこまで可能かを問い、外部知覚なしで競争力のある実世界性能を達成できることを示した点が新しい。

3. 技術・手法の肝は?

- まず特権的な物体情報を用いたteacher policyをreinforcement learningで訓練。 - 次にそれをPTへdistillationし、PTはjoint positionとvelocityの履歴のみで動作。 - Transformer architectureがjoint sensor readingsの時間的パターンから暗黙的な物体状態情報を抽出。 - 腱駆動ハンドにおけるmotor encodersとdirect joint sensingの比較も行う。

4. どうやって有効だと検証した?

- 実機ORCA handでの実験。 - 提案手法はbaselinesと比較して3.1倍高い回転速度を達成。 - cube position estimationのRMSEがMLP baselineより23.4%低く、proprioceptive sourcesからexteroceptive情報をより良く抽出できることを示した。

5. 議論はある?

- joint sensingのみで外部知覚なしに競争力のある性能が得られることを示唆。 - ただし要旨からは、限界や失敗ケース、他の物体やタスクへの一般化については不明。 - motor encodersとdirect joint sensingのどちらが良いかについての詳細な結論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、vision-based dexterous manipulation、tactile-based dexterous manipulation、reinforcement learning with privileged information、knowledge distillation、Transformer for proprioceptionなどが挙げられる。 - 同分野の定番として、OpenAI Dactyl、Dexterous Manipulation with Deep Reinforcement Learning、Learning Dexterous In-Hand Manipulationなどが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Senlan Yao, Chenyu Yang, Jaehoon Kim, Aristotelis Sympetheros, Robert K. Katzschmann

分類: cs.RO

原文アブストラクト

In-hand object manipulation is a fundamental yet challenging capability for dexterous robots. Despite significant progress in dexterous manipulation, existing approaches rely heavily on vision or tactile sensing to track object states, while joint sensing -- the most readily available modality on any robotic hand -- remains largely overlooked, particularly for tendon-driven hands. In this paper, we study how far joint sensing alone can go by asking: (i) whether motor encoders or direct joint sensing provides better proprioceptive feedback, (ii) how to extract environment information from joint measurements, and (iii) whether joint-only control can achieve competitive real-world performance without external perception. We present the Proprioceptive Transformer (PT), an exteroceptive-free approach for continuous cube rotation on a tendon-driven dexterous hand that uses only joint sensing feedback. A teacher policy is first trained via reinforcement learning with privileged object information, then distilled into PT, which operates solely on joint position and velocity histories. The Transformer architecture effectively extracts implicit object state information from temporal patterns in joint sensor readings. Experiments on the real ORCA hand show that our approach achieves 3.1x higher rotation speed than baselines. We also demonstrate that our PT achieves a 23.4% lower RMSE for cube position estimation than the MLP baseline, indicating superior extraction of exteroceptive information from proprioceptive sources.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI