日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2606.31694

RCT: ロボット収集による触覚-視覚-言語データセットと触覚汎化の評価

RCT: A Robot-Collected Touch-Vision-Language Dataset for Tactile Generalization

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが122種類の工業材料を押した際の触覚データを収集し、未見の材料に対する触覚表現の汎化性能を評価するためのデータセットと評価手法を提案した論文。

詳しい要約

1. どんなもの?

- ロボットが物体を押した際の触覚・視覚・言語を統合したデータセット - 名称は RCT (Robotic Contact Tactile) - 122種類の工業用参照材料、7カテゴリを対象 - 3つの DIGIT センサで複数の接触位置から取得 - 29,279 の触覚フレームを収録 - 各プレスを接触シーケンスとして保持 - 材料・カテゴリ・センサ・接触位置・接触シーケンスを分離した評価が可能

2. 先行研究と比べてどこがすごい?

- 従来の触覚データセットはフレーム単位のランダム分割が主流 - 同一プレス内のフレームは強く相関し、near-duplicate が訓練とテストに混入 - RCT は接触シーケンス単位の分割を可能にし、この問題を明示 - 公開 TVL/HCT 分割も同じ構造を持ち、テストの接触シーケンスが全て訓練に出現 - raw-pixel 最近傍で 98.3% の精度で正しいシーケンスを復元可能 - 接触シーケンスを考慮した held-out 評価を再現可能にした点が新しい

3. 技術・手法の肝は?

- 各プレスを接触シーケンスとして保存するデータ構造 - 3つの DIGIT センサを複数接触位置に配置 - 材料・カテゴリ・センサ・接触位置・接触シーケンスをそれぞれ held-out に設定可能 - 触覚からテキストへの Recall@1 で評価 - コントラスティブ学習を採用 - プレスを均一にサンプリングすることでコントラスティブ訓練が改善 - RCT で訓練した埋め込みは未見材料のカテゴリプローブを改善

4. どうやって有効だと検証した?

- エンコーダを固定し、接触シーケンスの重複を除去 - 触覚からテキストへの Recall@1 が 17.7 ポイント低下 - 材料も訓練時に held-out にすると性能が急落 - 3回の held-out 抽選平均で未見材料の Recall@1 は 25.1 +/- 6.1% - 公開 TVL/HCT 分割でも同様の構造を確認 - raw-pixel 最近傍で 98.3% のケースで正しいシーケンスを復元 - プレスを均一サンプリングするとコントラスティブ訓練が改善 - RCT 訓練埋め込みが未見材料のカテゴリプローブを改善

5. 議論はある?

- フレームランダム分割は near-duplicate を訓練とテストに混入させる危険 - 接触シーケンスを考慮した評価が不可欠 - 未見材料への汎化がロボット触覚知覚の中心的課題 - RCT により接触シーケンス対応かつ未見材料の held-out 評価が再現可能 - 公開 TVL/HCT 分割にも同じ構造があり、既存評価の見直しが必要 - 具体的な議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- TVL/HCT データセット - DIGIT センサを用いた触覚研究 - 触覚と言語のクロスモーダル表現学習 - コントラスティブ学習による触覚表現 - 未見材料への汎化を扱う触覚知覚研究 - 接触シーケンスを考慮した評価プロトコル

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingbo He, Michael Färber, Roberto Calandra

分類: cs.RO, cs.AI, cs.CL, cs.CV

原文アブストラクト

For robots manipulating open-world objects, tactile representations must generalize to unseen materials. We introduce RCT (Robotic Contact Tactile), a robot-collected touch-vision-language dataset with 29,279 tactile frames from full robot presses on 122 industrial reference materials in 7 categories, recorded with three DIGIT sensors at multiple contact positions. RCT preserves each press as a contact sequence, enabling held-out evaluation across materials, categories, sensors, contact positions, and contact sequences. Frames from one press are strongly correlated: frame-random splits can place near-duplicate observations of the same physical interaction in both training and test. With the encoder held fixed, removing contact-sequence overlap reduces tactile-to-text Recall@1 by 17.7 percentage points. When materials are additionally held out at training time, performance drops sharply, leaving held-out-material Recall@1 at 25.1 +/- 6.1% averaged over three held-out draws. The public TVL/HCT split shows the same structure: every test contact sequence appears in training, and raw-pixel nearest neighbors recover the correct sequence in 98.3% of cases. Uniformly sampling a press improves contrastive training, and RCT-trained embeddings improve category probes on unseen materials. RCT makes contact-sequence-aware, held-out-material evaluation reproducible and exposes novel-material generalization as a central challenge for robotic tactile perception. The RCT dataset is open-sourced at https://faerber-lab.github.io/RCT/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI