日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.16504

UniDex-ViTac:人間の動画から視触覚統合型巧みなマニピュレーション方策を学習

UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画を手がかりにシミュレーションでロボットの巧みな操作データを生成し、点群・固有感覚・指先接触信号を統合した汎用方策を学習。実機でも未学習物体を含め成功率を向上させた。

詳しい要約

1. どんなもの?

- 人間の動画から視覚と触覚を統合した器用な操作policyを学習する枠組みUniDex-ViTacを提案。 - 人間動画にはrobot実行可能なactionやtactile計測が無いため、human-video-guided simulationでrobot demonstrationとfingertip contact観測を生成。 - 10物体50人間demonstrationから10,000 simulated trajectoriesを収集し、単一のACTベースgeneralistを訓練。 - 展開時はpoint clouds、proprioception、4つのbinary contact signalsを入力とし、human referenceや物体identity/poseを必要としない。

2. 先行研究と比べてどこがすごい?

- 従来のhuman videoからの学習はrobot実行可能actionやtactileが欠如していたが、simulationを介してrobot demonstrationとfingertip contactを生成。 - point-cloud-only baselineと比較し、contact-augmented構成がsimulationで68.3%対55.5%のmacro-average successを達成。 - 実機ではreal-robot demonstrationやpolicy fine-tuning無しで、6 seen+5 unseen objectsにわたり73/110(66.4%)成功、baselineの60/110(54.5%)から11.8ポイント向上。

3. 技術・手法の肝は?

- human-video-guided simulationにより、注釈付きhuman-object interaction referenceをrobotic arm-hand systemへ適応。 - object-specific residual reinforcement learning specialistsが適応を担当し、成功rolloutから最終robot action targetsとrobot-side fingertip contact observationsをペアで収集。 - 単一のAction Chunking with Transformers (ACT) based generalistを訓練。 - 入力はpoint clouds、proprioception、fingertip labelsとseparate tokenで符号化された4つのbinary contact signals。

4. どうやって有効だと検証した?

- simulationでcontact-augmented構成が68.3% macro-average success、point-cloud-only baselineが55.5%。 - 実機でreal-robot demonstrationやfine-tuning無しに、6 seen+5 unseen objectsで73/110(66.4%)成功、baselineは60/110(54.5%)。 - 11.8 percentage pointsの向上を報告。

5. 議論はある?

- 結果はvideo-guided simulated interactionsから統一的なvisuo-tactile dexterous manipulation policyを学習するfeasibilityを支持。 - 限界や失敗要因、sim-to-real gapなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- Action Chunking with Transformers (ACT) - residual reinforcement learning - point-cloud-only baseline - human-video-guided simulation - visuo-tactile manipulation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyesung Lee, Si-Hwan Heo, Sungwook Yang

分類: cs.RO

原文アブストラクト

Human videos provide demonstrations of dexterous manipulation but lack robot-executable actions and tactile measurements. We present UniDex-ViTac, a framework that uses human-video-guided simulation to generate robot demonstrations paired with fingertip contact observations for training a deployable visuo-tactile policy. Object-specific residual reinforcement learning specialists adapt annotated human-object interaction references to a robotic arm-hand system. Their successful rollouts pair final robot action targets with robot-side fingertip contact observations. From 50 human demonstrations across ten objects, we collect 10,000 simulated trajectories to train a single Action Chunking with Transformers (ACT) based generalist. The policy combines point clouds, proprioception, and four binary contact signals encoded through fingertip labels and a separate token, without requiring human references or privileged object identity and pose at deployment. The contact-augmented configuration achieves 68.3% macro-average success in simulation, compared with 55.5% for the point-cloud-only baseline. Without real-robot demonstrations or policy fine-tuning, it succeeds in 73/110 physical trials (66.4%) across six seen and five unseen objects, compared with 60/110 (54.5%) for the baseline, an increase of 11.8 percentage points. These results support the feasibility of learning a unified visuo-tactile dexterous manipulation policy from video-guided simulated interactions. Project page: https://unidex-vitac.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI