日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/把持/sim2realarXiv:2606.11767

Real2Sim2Real触覚ポリシー学習によるブラインド器用把持

Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

実ロボットの触覚データをシミュレータに転写し、触覚のみで多指ハンドのブラインド把持を学習・実機展開する手法を提案。

詳しい要約

1. どんなもの?

- 多指ロボットハンドによる触覚のみの blind grasping を実現するフレームワーク。 - 実機 LEAP Hand に分散触覚センサを搭載し、視覚入力や実世界 grasping デモなしで運用。 - Real2Sim 触覚キャリブレーション、layout-aware tactile encoder、tactile-conditioned Diffusion Policy を統合。

2. 先行研究と比べてどこがすごい?

- 触覚 sim-to-real gap と sparse tactile 信号の表現力不足に対処。 - 実世界 grasping デモや視覚入力なしで実機多指ハンドに展開可能。 - 接触イベントのキャリブレーションと幾何事前を組み合わせる点が従来と異なる。

3. 技術・手法の肝は?

- Real2Sim tactile calibration pipeline で接触校正済み digital-twin simulator を構築。 - layout-aware tactile encoder が sensor-geometry priors を self-supervised pretraining で取り込む。 - 物体別 RL experts を校正 simulator で訓練し、成功軌道を tactile-conditioned Diffusion Policy に集約。

4. どうやって有効だと検証した?

- 実機 LEAP Hand と分散触覚センシングで 10 seen + 10 unseen objects を評価。 - 全 20 物体で実世界 grasp 成功率 27% を達成。 - Simulation ablations で layout-aware tactile pretraining の有効性、sensing-level evaluations で Real2Sim calibration が触覚接触イベントの一貫性を向上。

5. 議論はある?

- 接触イベント校正、幾何認識触覚表現学習、拡散ベース方策集約が触覚のみの blind grasping への有効な道筋を示唆。 - 実世界 grasping デモや視覚入力なしでの実機展開可能性を議論。 - 限界や失敗要因の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として tactile sim-to-real transfer、self-supervised tactile representation learning、Diffusion Policy、reinforcement learning for dexterous manipulation が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shengcheng Luo, Xiyan Huang, Zhe Xu, Wanlin Li, Ziyuan Jiao, Chenxi Xiao

分類: cs.RO, cs.AI

原文アブストラクト

Blind grasping with a dexterous hand is a crucial manipulation capability. Nevertheless, learning such tactile-only policies for real robots remains challenging due to the tactile sim-to-real gap and the limited expressiveness of sparse tactile signals. To bridge this gap, we propose a framework for tactile-only blind grasping that is deployable on a physical multi-fingered robotic hand. Our approach combines three key components. First, we introduce a Real2Sim tactile calibration pipeline that constructs a contact-calibrated digital-twin simulator capable of reproducing real tactile signals. Second, we improve the expressiveness of sparse tactile observations using a layout-aware tactile encoder, which incorporates sensor-geometry priors through self-supervised pretraining. Third, to improve generalization to unseen objects, we train object-specific reinforcement-learning experts in the calibrated simulator and aggregate their successful grasp trajectories into a tactile-conditioned Diffusion Policy. We evaluate our method on a physical LEAP Hand equipped with distributed tactile sensing across 10 seen and 10 unseen objects. The deployed policy achieves a 27\% real-world grasp success rate across all 20 objects, without real-world grasping demonstrations or visual input. Simulation ablations show that layout-aware tactile pretraining improves grasping performance, while sensing-level evaluations confirm that Real2Sim calibration increases the consistency of tactile contact events between simulation and hardware. Together, these results suggest that contact-event calibration, geometry-aware tactile representation learning, and diffusion-based policy aggregation provide an effective path toward tactile-only blind grasping on real dexterous robotic hands. Project page:Dex-Blind-Grasp.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI