日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2606.29948

異種触覚トランスフォーマー

Heterogeneous Tactile Transformer

シェア:XThreadsFacebookLINEはてブBluesky

異なる触覚センサー間で共有可能な表現を学習するフレームワークを提案し、多様な触覚データからの操作ポリシー学習を可能にした。

詳しい要約

1. どんなもの?

- 異種 tactile sensor 間で共有 tactile representation を学習する Heterogeneous Tactile Transformer (HTT) を提案。 - sensor-specific encoders と shared transformer trunk から構成。 - per-modality masked reconstruction と cross-modal alignment で pretrain。 - 4 種類の vision- and array-based tactile sensors を同期した 1.6M paired frames の HPT dataset を使用。 - 新しい tactile perception と real-world manipulation タスクに適応可能。

2. 先行研究と比べてどこがすごい?

- 従来は 1 つの sensor で学習したモデルを別 sensor に直接使えず、多様な tactile data からの大規模学習が困難だった。 - HTT は異種 sensor 間で共有 tactile representation を学習し、この制約を橋渡しする。 - 新しいタスクや未見 sensor にも適応する転移可能な表現を実現。 - 1.6M synchronized paired frames の HPT dataset を新規構築。

3. 技術・手法の肝は?

- sensor-specific encoders で各 sensor の入力を処理。 - shared transformer trunk で共通表現を学習。 - per-modality masked reconstruction と cross-modal alignment を組み合わせて pretrain。 - paired sensors 間の同期データを活用。 - HPT dataset は 4 種類の vision- and array-based tactile sensors を同期。

4. どうやって有効だと検証した?

- 異なる tactile perception タスクと real-world manipulation タスクで評価。 - 新しいタスクと未見 sensor への適応を検証。 - 転移可能な表現の学習を確認。 - 具体的な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 異種 tactile sensor 間の共有表現学習の有効性を示す。 - 未見 sensor への適応可能性に言及。 - 限界や失敗事例、計算コスト、データ収集の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Heterogeneous Paired Tactile (HPT) dataset を基盤とする関連研究。 - masked reconstruction や cross-modal alignment を用いた tactile representation learning の先行研究。 - vision-based tactile sensor と array-based tactile sensor の融合研究。 - 具体的な参照論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianxin Bi, Qiang Wang, Jayaram Reddy, Kelvin Lin, Soibkhon Khajikhanov, Ruihan Gao, Harold Soh

分類: cs.RO

原文アブストラクト

Tactile sensors are inherently heterogeneous: a model trained on one sensor cannot be directly used on another, which limits learning contact-rich manipulation policies from diverse tactile data at scale. To bridge this gap, we propose the Heterogeneous Tactile Transformer (HTT), a framework that learns shared tactile representations across heterogeneous sensors. HTT consists of sensor-specific encoders and a shared transformer trunk, and is pretrained with per-modality masked reconstruction together with cross-modal alignment between paired sensors. Pretraining uses our novel Heterogeneous Paired Tactile (HPT) dataset, containing 1.6M synchronized paired frames across four vision- and array-based tactile sensors. Across distinct tactile perception and real-world manipulation tasks, HTT is shown to learn transferable representations that adapt to new tasks and previously unseen sensors. Dataset, code, and model checkpoints will be released upon publication at https://jxbi1010.github.io/htt-gh-page/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI