日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.23075

関節工具の巧みなロボットハンドによる把持内操作とSim-to-Real転移

In-Hand Manipulation of Articulated Tools with Dexterous Robot Hands with Sim-to-Real Transfer

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションで訓練した基本方針を実機デモで微調整し、触覚と力覚フィードバックをクロスアテンションで統合することで、はさみや鉗子などの関節工具を巧みに把持内操作する手法を提案。

詳しい要約

1. どんなもの?

- 関節を持つ道具(articulated tools)を多指ロボットハンドで把持しつつ、手内で関節を動かす in-hand manipulation を学習する手法 - 対象は scissors、pliers、minimally invasive surgical instruments、staplers などの実世界ツール - simulation で学習した base policy に、実機デモから学ぶ sensor-driven refinement を追加する構成 - 人間の手より自由度・運動学的冗長性が小さい dexterous robot hands を前提とする - 精密な物理モデリングなしでの sim-to-real transfer を狙う

2. 先行研究と比べてどこがすごい?

- RL と sim-to-real transfer は rigid-object manipulation で進展してきたが、articulated mechanisms では接触が複雑で方策が脆いという課題があった - 従来は摩擦・stiction・backlash などの関節現象がモデル化不足で sim-to-real gap を広げ、触覚センシングも coverage・sensitivity・specificity で理想に届かない - 本研究は安定把持と同時の free in-hand articulation を扱い、実機デモによる refinement で instance 固有の関節特性にオンライン適応する点が新しい - 構造的に関連する articulated tools へ汎化できることを示した点が先行研究との差分

3. 技術・手法の肝は?

- simulation で学習した base policy を土台に、hardware demonstrations から sensor-driven refinement を学習 - refinement は proprioception と target articulation states を条件とし、whole-hand tactile と force-torque feedback を cross-attention で方策の action intent に融合 - 得られた controller はオンラインで instance 固有の articulation properties に適応し、接触相互作用を安定化、外乱下で internal forces を調整 - 精密な物理モデリングを必要とせず、関節機構の摩擦・stiction・backlash 等の未モデル現象を実機データで補う設計

4. どうやって有効だと検証した?

- scissors、pliers、minimally invasive surgical instruments、staplers など多様な実世界ツールで検証 - robust な sim-to-real transfer、disturbance resilience の向上、構造的に関連する articulated tools への汎化を実機で確認 - 具体的な評価指標・試行回数・比較ベースラインは要旨からは不明

5. 議論はある?

- 実機の関節現象(friction、stiction、backlash)や触覚センシングの限界(coverage・sensitivity・specificity)が sim-to-real gap の要因として議論されている - 精密な物理モデリングなしで適応できる一方、その限界や失敗条件、定量的な頑健性は要旨からは不明 - 人間の手より自由度・冗長性が小さいハンドでの把持と関節操作の両立が前提条件として議論されている

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないため、同分野の定番として sim-to-real transfer を用いた dexterous manipulation、tactile sensing を統合した in-hand manipulation、articulated object manipulation の関連論文を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Soofiyan Atar, Daniel Huang, Florian Richter, Michael Yip

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) and sim-to-real transfer have advanced rigid-object manipulation. However, policies remain brittle for articulated mechanisms due to contact-rich dynamics that require both stable grasping and simultaneous free in-hand articulation. Furthermore, articulated objects and robot hands exhibit under-modeled joint phenomena such as friction, stiction, and backlash in real life that can increase the sim-to-real gap, and robot hands still fall short of idealized tactile sensing, both in terms of coverage, sensitivity, and specificity. In this paper, we present an original approach to learning dexterous in-hand manipulation of articulated tools that has reduced articulation and kinematic redundancy relative to the human hand. Our approach augments a simulation-trained base policy with a sensor-driven refinement learned from hardware demonstrations. This refinement conditions on proprioception and target articulation states while fusing whole-hand tactile and force-torque feedback with the policy's action intent through cross-attention. The resulting controller adapts online to instance-specific articulation properties, stabilizes contact interactions, and regulates internal forces under perturbations. We validate our method across diverse real-world tools, including scissors, pliers, minimally invasive surgical instruments, and staplers, demonstrating robust sim-to-real transfer, improved disturbance resilience, and generalization across structurally related articulated tools without precise physical modeling.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI