日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2609.23352

BiView-Touch: クロスハンド補完による両手触覚表現学習

BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion

シェア:XThreadsFacebookLINEはてブBluesky

一方の手の触覚潜在表現を、同期したもう一方の手の触覚情報から補完する自己教師あり学習フレームワークを提案し、少ないラベルで両手動作や力の認識精度を向上させた。

詳しい要約

1. どんなもの?

- 両手の触覚表現学習フレームワーク BiView-Touch を提案。 - 触覚のみを用い、片手のマスクされた潜在を、可視領域と同期した反対手の全体から補完する。 - 両手の相補的な触覚ビュー間の cross-hand 関係を活用。 - 下流タスクとして bilateral wrist-motion recognition と force-derived interaction-phase recognition を扱う。 - 新データセット BVT-20(20タスクの両手触覚)も導入。

2. 先行研究と比べてどこがすごい?

- 既存の触覚表現学習は両手を独立にモデル化するか、下流予測のためだけに結合し、cross-hand 関係を未探索だった。 - BiView-Touch はこの見落とされた構造を活用する触覚のみのフレームワーク。 - 制御された ablation と source-context 介入により、両手入力だけでは得られない、時間的に整列し解剖学的に組織化された反対手触覚文脈への構造的依存を学習することを示す。 - 公開 HumanTouch データセットで、低ラベル設定において代表的な自己教師ありベースラインを一貫して上回る。

3. 技術・手法の肝は?

- 学生エンコーダと geometry-conditioned directional decoder を用い、full-view EMA latent targets を予測。 - マスクされた目標手の潜在を、残りの可視目標手領域と同期した反対手全体から補完。 - temporal および layout counterfactuals により、同期・解剖学的に組織化されたソース情報への感度を促す。 - 触覚のみのフレームワークで、両手の cross-hand completion を学習。

4. どうやって有効だと検証した?

- 制御された ablation と source-context 介入を実施。 - 公開 HumanTouch データセットで、凍結表現が低ラベル設定で代表的な自己教師ありベースラインを一貫して上回る。 - 下流ラベル 5% のみで、bilateral wrist-motion recognition で balanced accuracy が相対 7.1% 向上、force-derived interaction-phase recognition で 14.1% 向上。 - BVT-20 を導入し、記録セッション間および事前学習コーパス間の転移、held-out 両手タスクへの転移を実証。

5. 議論はある?

- 両手入力だけでは不十分で、時間的に整列し解剖学的に組織化された反対手触覚文脈への構造的依存が重要であることを示す。 - 制御された ablation と source-context 介入がこの依存を支持。 - 記録セッションや事前学習コーパスをまたぐ転移、held-out 両手タスクへの転移も議論。 - コードとデータセット詳細は匿名プロジェクトページで公開。

6. 次に読むべき論文は?

- HumanTouch データセット(本研究で使用された公開データセット)。 - 代表的な自己教師ありベースライン(触覚表現学習における比較対象)。 - BVT-20(本研究で導入された20タスク両手触覚データセット)。 - 両手触覚表現学習や cross-hand 関係を扱う関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenxin Liang, Youchen Lai, Chuqiao Lyu, Tianxing Chen, Shoujie Li, Wenbo Ding

分類: cs.CV, cs.RO

原文アブストラクト

Bimanual interaction produces complementary tactile views of the same physical process, yet existing tactile representation learning largely models the two hands independently or combines them only for downstream prediction, leaving their cross-hand relationship unexplored. To exploit this overlooked structure, we introduce BiView-Touch, a tactile-only framework that completes masked target-hand latents from the remaining visible target-hand regions and the synchronized full contralateral hand. A student encoder with a geometry-conditioned directional decoder predicts full-view EMA latent targets, while temporal and layout counterfactuals encourage sensitivity to synchronized and anatomically organized source information. Controlled ablations and source-context interventions show that BiView-Touch learns structured cross-hand dependence on temporally aligned and anatomically organized contralateral tactile context, rather than benefiting from bilateral input alone. On the public HumanTouch dataset, its frozen representations consistently outperform representative self-supervised baselines across low-label settings. With only 5\% downstream labels, BiView-Touch achieves relative balanced-accuracy gains of 7.1\% on bilateral wrist-motion recognition and 14.1\% on force-derived interaction-phase recognition. We further introduce BVT-20, a 20-task bilateral tactile dataset, and demonstrate transfer across recording sessions and pretraining corpora, including transfer to a held-out bimanual task. Our code and dataset details are available on the anonymous project page: https://anonymous.4open.science/w/biview-touch-review-site-050C/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI