触覚/表現学習2026/6/1arXiv:2606.29173

TacGen: 触覚は物理世界表現に不可欠な次元である -- スケーラブルな視覚-触覚アライメントと生成による触覚データ不足への対処

TacGen: Touch Is a Necessary Dimension of Physical-World Representation -- Addressing Tactile Data Scarcity with Scalable Vision-to-Touch Alignment and Generation

シェア:X Threads Facebook LINE はてブ Bluesky

触覚データ不足を解決するため、視覚と触覚のコントラスト学習と潜在空間での視覚から触覚への生成モデルを組み合わせ、RGB画像から触覚表現を合成してデータを拡張する手法を提案した。

詳しい要約

1. どんなもの？

本論文は、視覚のみでは曖昧な物理特性（形状・テクスチャ・コンプライアンス・素材）を触覚が補完するという仮説を、表現学習で再現できるか問う。TacGenは触覚データ不足を緩和するため、V+Tコントラスト整合と潜在空間残差MLPによるV→T生成器を組み合わせ、RGBから触覚潜在を合成して触覚データをスケーリングする枠組み。DINOv2バックボーン・分割・プローブを揃えた比較で、V+TはVのみより質量・密度・硬さ・不確実性帯付き力ラベルで改善し、TACTO操作性能も向上。触覚が接触依存特性の表現に必要な物理証拠チャネルであることを支持する。

2. 先行研究と比べてどこがすごい？

先行研究では視覚と触覚の表現がventral visual cortexで収束することや、触覚が視覚の物理特性曖昧性を解消することが示されてきたが、表現学習でそのgroundingを再現できるか、また触覚データ不足をどう克服するかは未解決だった。TacGenは、事前指定のV+Tコントラスト整合とV→T生成器を組み合わせ、触覚データをスケーリング可能にした点が新しい。DINOv2バックボーン・分割・プローブを揃えた厳密比較により、V+TがVのみを質量・密度・硬さ・力ラベルで上回り、TACTO操作性能も大幅改善することを示した。さらに、Vのみの容量スケーリングでは性能差の4.5%しか説明できず、95.5%は触覚由来であることを示した。

3. 技術・手法の肝は？

TacGenの肝は、事前指定されたV+Tコントラスト整合と、潜在空間残差MLPによるV→T生成器の組み合わせ。V+Tコントラスト整合では、視覚と触覚の表現を対比学習で揃える。V→T生成器はRGB入力から触覚潜在を合成し、触覚データをスケーリングする。DINOv2バックボーン・分割・プローブを揃えて評価。生成器は再構成品質と表現有用性の間に13ppの下流ギャップがあることを示し、単なる再構成ではなく表現としての有用性を重視。

4. どうやって有効だと検証した？

DINOv2バックボーン・分割・プローブを揃えた比較で、V+TはVのみより質量（ΔR^2=+0.570）、密度（Δacc=+0.067）、硬さ（+0.117）、不確実性帯付き力ラベル（ΔR^2=+0.281）で改善し、全てのCIがゼロを除外。同じ表現でTACTO操作が0.246→0.979に向上し、Vのみの容量スケーリングはギャップの4.5%のみ説明、95.5%を保持。生成器はcross-seed +0.589、実触覚 +0.585でseed区間内。5-seed SSVTP/TVL再現、YCB-Sight転移、3バックボーン確認、順列/ランダム特徴制御、ハッシュ検証マニフェスト、実測力検証チェックで支持。

5. 議論はある？

本論文は、触覚が接触依存特性の表現に必要な物理証拠チャネルであると主張する。一方で、生成器の再構成品質と表現有用性の間に13ppの下流ギャップがあることを示し、単なる再構成では不十分である点を議論。Vのみの容量スケーリングでは性能差の4.5%しか説明できず、触覚の寄与が大きいことを強調。ただし、要旨からは具体的な限界や反論、倫理的影響については不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究として、V+Tコントラスト整合、DINOv2、TACTO、SSVTP/TVL、YCB-Sightが挙げられる。関連手法として、視覚と触覚の表現学習、触覚データ生成、クロスモーダル対比学習、ロボット操作の触覚活用に関する研究が次に読むべき論文として考えられる。具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wanghao Ye, Aarosh Das, Sihan Chen, Yiting Wang, Bowei Tian, Guoheng Sun, Shwai He, Zheyu Shen, Ziyao Wang, Yexiao He, Zhaoyi Liu, Meng Liu, Yuning Zhang, Meng Feng, Ziyi Wang, Yilong Dai, Yifei Dong, Siyuan Peng, Zhenle Duan, Joshua Liu, Lang Xiong, Ang Li

分類: cs.RO

原文アブストラクト

Touch resolves the physical-property ambiguity left by vision: exploratory contact recovers shape, texture, compliance, and material, and visuo-haptic object representations converge in ventral visual cortex. We ask whether representation learning can reproduce this grounding. TacGen mitigates the tactile-data scarcity bottleneck by combining pre-specified V+T contrastive alignment with a latent-space residual-MLP V->T generator that synthesizes tactile latents from RGB for tactile-data scaling. With matched DINOv2 backbones, splits, and probes, V+T improves matched V-only on mass (Delta R^2=+0.570), density (Delta acc=+0.067), hardness (+0.117), and uncertainty-banded force labels (Delta R^2=+0.281); all CIs exclude zero. The same representation lifts matched-capacity TACTO manipulation 0.246->0.979 while V-only capacity scaling accounts for only 4.5% of the gap, preserving 95.5%. The generator reaches cross-seed +0.589, with real tactile +0.585 inside the seed interval; the architecture comparison shows a 13pp downstream gap between reconstruction quality and representation utility. Across five-seed SSVTP/TVL reproductions, YCB-Sight transfer, three-backbone checks, permutation/random-feature controls, hash-verified manifests, and measured-force validation checks, the evidence supports the claim that touch supplies a necessary physical evidence channel for representations of contact-dependent properties.

arXivで原文を読む →arXiv概要ページ

← 論文一覧