TactSpace: 触覚のシミュレーションから実世界への転移のための物理強化共有潜在空間の学習
TactSpace: Learning a Physics-enriched Shared Latent Space for Tactile Sim-to-Real Transfer
触覚センサのシミュレーションと実データの差異を埋めるため、異なる触覚モダリティを共通の潜在空間に整列させる表現学習フレームワークを提案し、シミュレーションのみで訓練したモデルを実センサに直接適用するゼロショット転移を実現した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Arunim Joarder, Arjun Bhardwaj, René Zurbrügg, Mayank Mittal, Florin Püntener, Sira Bielefeldt, Cosmin Roman, Vaishakh Patil, Marco Hutter
分類: cs.RO
原文アブストラクト
Tactile sensing provides direct measurements of contact interactions that are essential for robotic manipulation. However, current simulators lack the fidelity to faithfully model the complex deformation and transduction mechanics of tactile sensors, severely hindering sim-to-real transfer in robot learning pipelines. To address this challenge, we propose a multi-modal representation learning framework that aligns heterogeneous tactile modalities within a shared latent space, eliminating the need for accurate raw-signal simulation while preserving relevant contact information. Our approach employs modality-specific encoders to project diverse tactile observations, such as simulated penetration depth and real-world capacitance, into a common embedding space. The model is trained using self- and cross-reconstruction objectives alongside contrastive alignment, encouraging modality-invariant yet information-rich representations. We evaluate the learned embeddings on indenter shape identification, force prediction, and geometric reconstruction tasks, training exclusively in simulation and testing directly on real sensor measurements. Our results demonstrate zero-shot sim-to-real transfer across physically dissimilar representations. Furthermore, incorporating multi-physics simulation modalities yields more informative embeddings that transfer across diverse downstream tasks, demonstrating a 16.7% reduction in force prediction error and a 45.8% reduction in shape reconstruction error. Finally, we release an efficient Warp-based implementation of a penalty-based tactile simulation model for Isaac Lab, enabling scalable tactile data generation.
関連論文
- TactileLab: せん断感覚を効率的にシミュレートする触覚シミュレーションによるSim-to-Real巧緻マニピュレーション触覚/sim2real
- HydroShear: 触覚シミュレーションから実機への強化学習のためのハイドロエラスティックせん断シミュレーション触覚/sim2real
- 触覚シミュレータを実写類似・ゼロショット性能で拡張するSightGAN触覚/sim2real
- Tactile Gym 2.0：低コスト高解像度触覚センサを比較するためのSim-to-Real深層強化学習触覚/sim2real
- 深層テクスチャ生成ネットワークによる触覚Sim2Realギャップの削減触覚/sim2real
- 物理シミュレーションと学習潜在投影による触覚センシングのsim-to-real触覚/sim2real
