日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2611.17619

TouchTwin:実→シミュ→実で人間の触覚データを拡張する

TouchTwin: Scaling Human Touch Data via Real-to-Sim-to-Real

シェア:XThreadsFacebookLINEはてブBluesky

触覚グローブとRGB-Dカメラで計測した人間の把持データをMuJoCo上で再構築し、指ごとの接触と把持力を再現することで、視覚ベースでは失われる力の情報を補完する実→シミュ→実パイプラインを提案。

詳しい要約

1. どんなもの?

- TouchTwinは、人間の手による接触データを実世界→シミュレーション→実世界(real-to-sim-to-real)パイプラインで拡張する枠組み。 - 視覚ベースの再構築では手指の接触タイミングや力が観測できない「force gap」を、計測された触覚で埋める。 - TouchScale記録(頭部・手首のRGB-Dカメラと880-taxelグローブ)をMuJoCo上で再構築する。 - 各指の接触と閉じ力を記録触覚で再現するtactile handを被験者ごとに用いる。

2. 先行研究と比べてどこがすごい?

- 従来のreal-to-sim-to-realは視覚から相互作用を再構築し、手の動きは復元できるが接触の有無・タイミング・力は未観測だった。 - 視覚追跡ポーズの物理リプレイに基づくpolicyは記録力の1.55xで把持し、観測ポーズ模倣policyは0.31xだった。 - TouchTwinは触覚接地リプレイで0.99xの把持力を達成し、このforce gapを大きく縮小。 - 接触予測でも視覚ベースの32%に対し13%の取りこぼしに抑える。

3. 技術・手法の肝は?

- TouchScale記録をMuJoCoで再構築し、coding agentsが物理検証済みプログラムとして物体を記述。 - 被験者ごとのtactile handが、記録された触覚に基づき各指の接触と閉じ力を設定して相互作用をリプレイ。 - 触覚接地リプレイでpolicyとcontact predictorを訓練。 - リプレイは摂動付きデモの種となり、シミュレーションの接触・力ラベルを新視点・新シーンでリアルな動画として描画。

4. どうやって有効だと検証した?

- held-out recordingsで、触覚接地リプレイ訓練policyは記録力の0.99xで把持。 - held-out recordingsで20/20試行成功、未見摂動で35/36成功。 - 接触予測器は実接触フレームの13%を取りこぼし(視覚ベースは32%)。 - リプレイから摂動デモを生成し、新視点・新シーンでリアルな動画として描画できることを示す。

5. 議論はある?

- 視覚のみでは手指の接触・力が観測できずforce gapが生じるという問題設定を明確化。 - 触覚グローブとシミュレーション再構築の組合せで把持力と接触予測の精度向上を示す。 - 被験者ごとのtactile handやcoding agentsによる物体モデル化など、スケーリング上の制約や一般化範囲は要旨からは不明。 - 実世界への転移や長期運用の議論は要旨からは不明。

6. 次に読むべき論文は?

- 視覚追跡ポーズの物理リプレイに基づく先行real-to-sim-to-real研究(要旨で比較)。 - 観測ポーズ模倣によるhand policy(要旨で比較)。 - MuJoCoを用いた接触・力のシミュレーション研究。 - 触覚グローブ(880-taxel)を用いた触覚データ収集研究。 - 視覚ベースのcontact predictor(要旨で比較)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huiwen Han, Nuo Chen, Ziyao Zeng, Dayou Li, Hao Wang, Amir Hossein Rahmati, Xiaoning Qian, Bangya Liu, Zhiwen Fan

分類: cs.RO

原文アブストラクト

Human demonstrations are becoming the main source of data for dexterous manipulation, and real-to-sim-to-real pipelines multiply each demonstration in simulation. These pipelines rebuild the interaction from vision, which recovers how the hand moves. Which fingers touch, when, and how hard remain unobserved, because a hand pose shows where each finger stops on the surface rather than how far it is driven to close. This gap is a force gap: on held-out recordings, a hand policy that imitates the observed pose grips with 0.31x the recorded force, and a policy trained on physics replays of vision-tracked poses grips with 1.55x. TouchTwin closes the gap with measured human touch. Each selected TouchScale recording, captured with head and wrist RGB-D cameras and an 880-taxel glove, is rebuilt in MuJoCo. Coding agents write the objects as physics-tested programs, and a per-subject tactile hand replays the interaction with the recorded touch setting the contact and the closing force of each finger. In simulation, a policy trained on touch-grounded replays grips at 0.99x the recorded force and succeeds in 20/20 trials on held-out recordings and 35/36 unseen perturbations; a contact predictor trained on them misses 13% of real contact frames, against 32% for vision-based replays. Each replay also seeds perturbed demonstrations with simulated contact and force labels, rendered as realistic video in new views and scenes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI