日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.34182

人間の実演からの視覚・触覚・行動の統合モデリングによる巧みなマニピュレーション

Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の触覚データを活用し、視覚・触覚・行動を統合的に学習するモデルを構築して、巧みなロボットマニピュレーションの性能を向上させた。

詳しい要約

1. どんなもの?

人間のdemonstrationからvisual・tactile・actionを統合的にモデリングし、dexterous manipulationのpolicyを学習する研究。tactile motion-capture systemで画像・触覚信号・手の動きを同期記録し、5つのcontact-richタスク・人間1,000 demonstrations・タスクあたりロボット150 demonstrationsのUVTA datasetを構築。Unified Visual-Tactile-Action Modelで両embodimentを整列したtactile/action表現に写像し、将来のactionとtactile軌道を同時予測する。

2. 先行研究と比べてどこがすごい?

ロボットのtactile demonstrationはdexterous-hand teleoperationが操作者に限られたtactile feedbackしか与えられずスケール困難。一方、人間のdemonstrationは多様なtactile interactionのスケーラブルな源。『手は変わっても相互作用の物理は変わらない』という前提で人間tactile dataを活用。最強のvisual-tactile baseline 29%、architecture ablation 42%に対し平均成功率70%を達成。

3. 技術・手法の肝は?

tactile motion-capture systemで画像・tactile信号・hand motionを同期収録。Unified Visual-Tactile-Action Modelは両embodimentを整列したtactile/action表現に写像し、future actionとtactile trajectoryをjointly予測。joint objectiveにより人間demonstrationがcontact-aware representation learningを監督し、deployment時はrobot actionのみ実行。

4. どうやって有効だと検証した?

5タスクのreal-robot評価で平均成功率70%を達成し、最強visual-tactile baseline 29%とarchitecture ablation 42%を上回った。人間demonstrationを増やすと性能が一貫して向上し、タスクあたり1,000 demonstrationsでも飽和しないことを確認。

5. 議論はある?

人間tactile dataのスケーラビリティがdexterous manipulationに有効であることを示す。1,000 demonstrations/taskでも飽和しない点が議論の焦点。ただし限界や失敗要因の詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されているvisual-tactile baseline、architecture ablation、およびUVTA datasetに関連する研究。具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenqiao Li, Qianyou Zhao, Jiawen Hao, Xuezhou Zhu, Tengyu Liu, Kaifeng Zhang, Chuan Wen, Siyuan Huang

分類: cs.RO, cs.AI

原文アブストラクト

Dexterous manipulation requires tactile feedback.However, robot tactile demonstrations are difficult to scale,because dexterous-hand teleoperation provides limited tactile feedback to the operator. In contrast, human demonstrations offer a substantially more scalable source of diverse tactile interactions. Motivated by a simple premise: hands can change, but the underlying physics of interaction does not. We leverage human tactile data to improve dexterous manipulation policies. Specifically, we first build a tactile motion-capture system that synchronously records images, tactile signals, and hand motions. Using this system, we construct the UVTA dataset spanning five contact-rich tasks, with 1,000 human demonstrations covering diverse interaction patterns and 150 robot demonstrations per task. To transfer the underlying physics of human interaction to robot control, we propose a Unified Visual-Tactile-Action Model that maps both embodiments into aligned tactile and action representations and jointly predicts future action and tactile trajectories. The joint objective enables human demonstrations to supervise contact-aware representation learning, while only robot actions are executed during deployment. In real-robot evaluations across five tasks, our method achieves an average success rate of 70%, outperforming the strongest visual-tactile baseline, which achieves 29%, and an architecture ablation, which achieves 42%. Performance improves consistently with additional human demonstrations and exhibits no saturation at 1,000 demonstrations per task, validating the effectiveness of scalable human tactile data for dexterous manipulation. Project page is available at https://uni-vta.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI