日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2606.31236

TactX: 多様なセンサにわたる共有触覚表現の学習

TactX: Learning Shared Tactile Representations Across Diverse Sensors

シェア:XThreadsFacebookLINEはてブBluesky

異なる原理の触覚センサ(抵抗、磁気、視覚)からのデータを共通の潜在空間に写像するフレームワークTactXを提案し、あるセンサで訓練した操作ポリシーを別のセンサへゼロショット転移できることを示した。

詳しい要約

1. どんなもの?

- 接触を伴うマニピュレーション向けに、異なる触覚センサ間で共有できる触覚表現を学習するフレームワーク TactX を提案。 - resistive, magnetic, vision-based の3種類の変換方式を対象。 - 異種触覚観測を modality-specific encoder で共有潜在空間に写像。 - センサ非依存の触覚マニピュレーションを目指す。

2. 先行研究と比べてどこがすごい?

- 従来は触覚表現や policy が特定センサに強く結合し、ロボットやハードウェア間の転移が困難。 - TactX は3つの根本的に異なる変換方式をまたいで共有潜在空間を学習。 - 1つのセンサで学習した policy が、共有潜在を介して物理的に異なるセンサへ zero-shot 転移可能。 - vision-only policy の平均成功率 27.5% を 45.9% に改善。

3. 技術・手法の肝は?

- modality-specific encoder を用い、paired contact data で学習。 - 異種触覚観測を共有潜在空間へマッピング。 - paired interaction をモダリティ間の自然な alignment signal として利用。 - 全センサペアで encoder を joint training し、全センサタイプに一貫した潜在空間を誘導。

4. どうやって有効だと検証した?

- 学習した潜在空間で sensor-identity prediction と object classification を実施。 - センサ間の触覚表現が揃い、物体レベルの接触情報が保たれることを確認。 - pick-and-place, plug insertion, board wiping, object reorientation の4つの接触リッチタスクで評価。 - 1センサで学習した policy が物理的に異なるセンサへ zero-shot 転移することを示す。

5. 議論はある?

- 共有潜在空間がセンサ間で触覚表現を揃えつつ、物体レベルの接触情報を保持することを示唆。 - センサ非依存の触覚マニピュレーションへの一歩と位置づけ。 - 限界や失敗事例、計算コスト、実機展開上の課題などは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として vision-based tactile sensing, domain adaptation, representation alignment, cross-modal transfer, zero-shot policy transfer などが次に読む候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junsung Park, Sachin Bhadang, Carmelo Sferrazza, Sha Yi, Xiaolong Wang

分類: cs.RO

原文アブストラクト

Tactile sensors provide critical information for contact-rich manipulation, yet tactile representations and policies remain tightly coupled to each specific sensor, limiting transferability across robots and hardware platforms. We propose TactX, a framework for learning a transferable tactile representation across sensors spanning three fundamentally different transduction modalities: resistive, magnetic, and vision-based. TactX maps heterogeneous tactile observations into a shared latent space through modality-specific encoders trained on paired contact data. Such paired interactions provide a natural alignment signal across modalities, and the encoders are jointly trained across all sensor pairs, inducing a consistent latent space for all sensor types. Our experiments show that TactX aligns tactile representations across sensors while preserving object-level contact information, as evidenced by sensor-identity prediction and object classification in the learned latent space. We evaluate TactX on four contact-rich manipulation tasks: pick-and-place, plug insertion, board wiping, and object reorientation, and show that policies trained with one sensor transfer zero-shot to physically distinct sensors through the shared latent. This improves the average success rate from 27.5% for vision-only policy to 45.9%, providing a step toward sensor-agnostic tactile manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI