触覚/シミュレーション転移2026/5/1arXiv:2605.28812

バイナリを超えて：物理に基づく接触表現によるシミュレーションから実世界への巧みな操作

Beyond Binary: Sim-to-Real Dexterous Manipulation with Physics-Grounded Contact Representation

触覚データを物理原理に基づく圧力中心（CoP）表現に変換し、シミュレーションから実世界へのゼロショット転移を可能にする手法を提案。多指ハンドでのピン穴挿入とボールバランス課題で有効性を実証した。

詳しい要約

1. どんなもの？

- 接触を伴う操作のためのsim-to-real強化学習手法。 - 触覚表現Center-of-Pressure (CoP)を導入。 - 物理原理に基づき密な接触情報を保持。 - センサキャリブレーションを微分可能ダイナミクスで実現。 - 多指ハンドでpeg-in-hole挿入とball balancingを評価。

2. 先行研究と比べてどこがすごい？

- 既存のsim-to-real手法は触覚データを粗い低次元特徴に簡略化。 - 複雑な操作に必要な豊かさを犠牲にしていた。 - CoPは密な接触情報を保持しつつsim-to-real転移の堅牢性を維持。 - 粗いbinary-contactやraw-taxelベースラインを上回る。

3. 技術・手法の肝は？

- 触覚表現Center-of-Pressure (CoP)を提案。 - 物理原理に基づき接触情報を密に表現。 - 微分可能ダイナミクスに基づくセンサキャリブレーション。 - 真の力測定なしでtaxelの向きを推定。 - これによりsim-to-realギャップを軽減。

4. どうやって有効だと検証した？

- 2つのblindで挑戦的な接触リッチ操作タスクで評価。 - タスクはpeg-in-hole insertionとball balancing。 - 多指ハンドでzero-shot sim-to-real転移を達成。 - CoP条件付きポリシーがbinary-contactとraw-taxelベースラインを上回る。 - 学習されたポリシー状態の分析を実施。

5. 議論はある？

- CoP条件付きポリシーが物体質量などのタスク関連物理特性を創発的にエンコード。 - これは制御の副産物として生じることを示唆。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: binary-contactベースライン、raw-taxelベースライン。 - 関連手法: sim-to-real reinforcement learning、tactile representation、differentiable dynamics。 - 同分野の定番: domain randomization、system identification。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahe Pan, Stelian Coros, Jitendra Malik, Toru Lin

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

A primary bottleneck in contact-rich manipulation is the difficulty of collecting real-world data. Sim-to-real reinforcement learning offers a scalable alternative, but the simulation-reality gap prevents information-dense modalities like touch from being effectively used. Existing sim-to-real methods often mitigate this gap by simplifying tactile data into coarse low-dimensional features -- sacrificing the richness required for complex manipulation. In this work, we introduce Center-of-Pressure (CoP), an effective tactile representation grounded in physical principles that preserves dense contact information while maintaining robustness for sim-to-real transfer. To support this representation, we propose a sensor calibration scheme based on differentiable dynamics, enabling the estimation of taxel orientations without requiring ground-truth force measurements. We evaluate CoP on two blind, challenging contact-rich manipulation tasks: peg-in-hole insertion and ball balancing. Across both tasks, policies conditioned on CoP achieve zero-shot sim-to-real transfer on a multi-fingered hand, and outperform both coarse binary-contact and raw-taxel baselines. Analysis of learned policy states further suggests that CoP-conditioned policies encode task-relevant physical properties, such as object mass, as an emergent byproduct of control.

arXivで原文を読む →arXiv概要ページ

← 論文一覧