ピクセルを超えた触覚：ロボットマニピュレーションのためのマルチセンサリ触覚表現

- Sparsh-X は4つの tactile modality（image, audio, motion, pressure）を統合した初の multisensory touch representation である。 - Digit 360 sensor で収集した約1M件の contact-rich interactions で学習される。 - 多様な時間・空間スケールの相補的な touch signals を捉える。 - self-supervised learning により統合表現を獲得し、robot manipulation に有用な物理特性を符号化する。 - imitation learning と sim-trained policies の tactile adaptation への統合を検討する。

- 従来の tactile 表現は主に tactile images に限定されがちだが、Sparsh-X は image, audio, motion, pressure の4 modality を統合する点が新しい。 - 約1M件の contact-rich interactions と Digit 360 sensor を用いる大規模 multisensory pretraining を実現。 - tactile images を用いる end-to-end model と比べ policy success rates を63%向上。 - touch からの object state 復元の robustness を90%改善。 - 物理特性推定の accuracy を end-to-end 比で48%向上。

- Digit 360 sensor で約1M件の contact-rich interactions を収集。 - image, audio, motion, pressure の4 tactile modalities を対象とする。 - self-supervised learning により各 modality を統合表現へ融合。 - 多様な temporal/spatial scales の touch signals を捉える表現を学習。 - 学習した表現を imitation learning と sim-trained policies の tactile adaptation に統合する手法を検討。

- imitation learning と sim-trained policies の tactile adaptation に Sparsh-X を統合して評価。 - tactile images を用いる end-to-end model と比較し、policy success rates が63%向上。 - touch からの object state 復元で robustness が90%改善。 - object-action identification、material-quantity estimation、force estimation の物理特性推論を benchmark。 - 物理特性推定の accuracy が end-to-end 比で48%向上。

- 4 modality の統合と self-supervised pretraining が dexterous manipulation に有用な特徴獲得に寄与することを示唆。 - ただし要旨からは、各 modality の寄与度や failure cases、計算コスト、実機展開の制約についての詳細は不明。 - sim-trained policies の tactile adaptation の限界や、他 sensor への汎化性も要旨からは不明。

- tactile images を用いる end-to-end model（比較対象として言及）。 - Digit 360 sensor を用いた tactile sensing 研究。 - self-supervised learning による tactile representation learning の関連研究。 - imitation learning と sim-to-real tactile adaptation の関連研究。