日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚表現学習arXiv:2606.19161

HT-Bench: 器用な全手触覚表現のベンチマークと学習 - 自己中心視覚との統合

HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision

シェア:XThreadsFacebookLINEはてブBluesky

触覚センサの多様性を超え、自己中心視覚と全手触覚データを組み合わせた大規模ベンチマークHT-Benchを構築し、触覚表現学習の評価手法とHandTouchエンコーダを提案した。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションにおける触覚表現学習のベンチマーク - 大規模マルチタスクベンチマーク HT-Bench を提案 - 10M RGB フレームと 7.8M 触覚フレームを 226 タスクで収集 - 触覚表現を3つの観点から評価 - 接触形状を意味的に符号化するか - 触覚観測を視覚情報と整合できるか - 未見タスクに汎化するか - 4つの評価タスクを含む - fine-grained tactile similarity retrieval - masked tactile inpainting - vision-to-tactile synthesis - multimodal tactile frame prediction - ベースラインとして HandTouch を提案 - vector-quantized vision-tactile encoder - 空間・クロスモーダル・時間の段階的学習

2. 先行研究と比べてどこがすごい?

- 従来は触覚センサ設計・データ形式・ロボット実装の多様性のため - 触覚表現学習の普遍ベンチマーク構築が困難 - 本研究は普遍ベンチマークを目指さず - egocentric vision と full-hand tactile data の組み合わせという - スケーラブルで有望な方向を探索 - 大規模データセット HT-Bench を構築 - 10M RGB フレーム、7.8M 触覚フレーム、226 タスク - HandTouch は代表的な触覚エンコーダベースラインを上回る - Recall@5: 74.65% → 85.23% - RMSE: 0.022 → 0.010 - OOD cIoU: 0.628 → 0.705

3. 技術・手法の肝は?

- HT-Bench の構築 - 10M RGB フレームと 7.8M 触覚フレーム - 226 タスクにわたる大規模マルチタスクデータ - 触覚表現の評価軸 - 接触形状の意味的符号化 - 触覚と視覚の整合 - 未見タスクへの汎化 - 4つの評価タスク - fine-grained tactile similarity retrieval - masked tactile inpainting - vision-to-tactile synthesis - multimodal tactile frame prediction - HandTouch の学習 - vector-quantized vision-tactile encoder - 段階的訓練 - 空間 - クロスモーダル - 時間

4. どうやって有効だと検証した?

- HT-Bench 上で HandTouch を評価 - 代表的な触覚エンコーダベースラインと比較 - 結果 - fine-grained tactile similarity retrieval の Recall@5 - 74.65% から 85.23% に改善 - masked tactile inpainting の RMSE - 0.022 から 0.010 に低減 - vision-to-tactile synthesis の OOD cIoU - 0.628 から 0.705 に向上 - 大規模 egocentric full-hand tactile data が - 触覚表現学習の評価と進展にスケーラブルな基盤となることを示唆

5. 議論はある?

- 普遍ベンチマークの構築は困難であると指摘 - 触覚センサ設計、データ形式、ロボット実装の多様性のため - 代わりに egocentric vision と full-hand tactile data の組み合わせを提案 - この方向がスケーラブルで有望であると主張 - 大規模データが触覚表現学習の評価と進展に寄与する可能性を示唆 - 具体的な限界や議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - 代表的な触覚エンコーダベースライン(具体的名称は要旨からは不明) - 関連手法 - vector-quantized vision-tactile encoder - masked tactile inpainting - vision-to-tactile synthesis - multimodal tactile frame prediction - 同分野の定番 - 触覚表現学習 - ロボットマニピュレーション - クロスモーダル学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

分類: cs.RO

原文アブストラクト

Establishing a universal benchmark for tactile representation learning in robotic manipulation remains challenging due to the diversity of tactile sensor designs, data formats, and robot embodiments. Rather than seeking to establish such, we explore a scalable and promising direction for future development: egocentric vision paired with full-hand tactile data. To this end, we introduce \textbf{HT-Bench}, a large-scale multi-task benchmark for dexterous full-hand tactile sensing, comprising 10M RGB frames and 7.8M tactile frames collected across 226 tasks. HT-Bench evaluates tactile representations from three key perspectives: whether they encode meaningful contact geometry, whether they can align tactile observations with visual information, and whether they generalize to unseen tasks. To assess these capabilities, HT-Bench includes four tasks: fine-grained tactile similarity retrieval, masked tactile inpainting, vision-to-tactile synthesis, and multimodal tactile frame prediction. We further propose \textbf{HandTouch}, a vector-quantized vision--tactile encoder that learns tactile representations through progressive spatial, cross-modal, and temporal training. Across HT-Bench, HandTouch consistently outperforms representative tactile encoder baselines, improving Recall@5 on fine-grained tactile similarity retrieval from 74.65\% to 85.23\%, reducing RMSE on masked tactile inpainting from 0.022 to 0.010, and increasing OOD cIoU on vision-to-tactile synthesis from 0.628 to 0.705. These results demonstrate the effectiveness of HandTouch and suggest that large-scale egocentric full-hand tactile data provides a scalable basis for evaluating and advancing tactile representation learning in dexterous manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI