τ: 未来の視覚的監督から学習する触覚拡張型視覚言語行動モデル

本論文は、接触を伴う操作タスクにおいて、触覚センシングをVision-Language-Action (VLA)モデルに統合するフレームワーク「τ」を提案する。τは、Joint-Embedding Predictive Architecture (JEPA)に着想を得て、将来の視覚情報を教師信号として、行動条件付きの時空間触覚表現を学習する。学習した触覚表現は視覚・言語特徴と融合され、行動生成に用いられる。また、4つの代表的な接触を伴う操作タスクにおける同期した視覚、プロprioception、視覚ベース触覚信号を含むデータセット「TacAura」を導入する。

既存手法は、瞬間的な接触状態のみに焦点を当てるか、6D wrench系列を用いて時間的相互作用ダイナミクスをモデル化するが、高次元の触覚信号は十分に活用されていない。τは、将来の視覚監督から行動条件付き時空間触覚表現を学習することで、これらの限界を克服し、限られたタスク固有データでも事前学習済みVLAモデルに効果的に適応できる点が優れている。

τの技術的な核心は、JEPAに触発された将来視覚監督による行動条件付き時空間触覚表現の学習である。この監督は潜在空間で行われ、訓練時のみに使用され、推論時のオーバーヘッドを増加させない。学習された触覚表現は、視覚・言語特徴と融合され、行動生成に使用される。

提案手法は、TacAuraデータセットを用いて、4つの代表的な接触を伴う操作タスクで評価された。実験では、τが既存モデルよりも優れた性能を示し、未見の物体やシーンへの一般化も達成し、操作性能とロバスト性が向上したことが示された。

要旨からは、τの限界や潜在的な問題についての議論は不明である。ただし、触覚表現の学習に将来の視覚情報を使用するため、視覚情報が不確かな場合や欠落している場合の影響、また、異なる触覚センサーへの一般化などが今後の課題として考えられるが、要旨には明記されていない。

要旨で参照されている関連研究として、Joint-Embedding Predictive Architecture (JEPA)が挙げられる。また、Vision-Language-Action (VLA)モデルや、触覚表現学習に関する既存研究（瞬間的接触状態や6D wrench系列を用いた手法）も関連する。具体的な論文名は要旨にないため、これらの一般名で示す。