日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2509.14688

exUMI: 拡張可能なロボット教示システムと行動認識型タスク非依存触覚表現

exUMI: Extensible Robot Teaching System with Action-aware Task-agnostic Tactile Representation

シェア:XThreadsFacebookLINEはてブBluesky

触覚データ収集デバイスexUMIと、行動を考慮した時間的触覚予測による表現学習TPPを提案し、接触を伴うマニピュレーションの模倣学習性能を向上させた研究。

詳しい要約

1. どんなもの?

- 触覚を活用したロボット学習のための、ハードウェアとアルゴリズムを統合したシステム - データ収集デバイス exUMI: 既存の UMI を拡張した拡張可能な装置 - 表現学習フレームワーク TPP (Tactile Prediction Pretraining) - 接触の多いマニピュレーション研究の促進を目的とし、オープンソースリソースも提供 - プロジェクトページ: https://silicx.github.io/exUMI

2. 先行研究と比べてどこがすごい?

- 既存の触覚対応ロボット学習は、データの希少性・疎性、および既存システムにおける力フィードバックの欠如という課題を抱えていた - exUMI は vanilla UMI を拡張し、堅牢な proprioception (AR MoCap と rotary encoder による)、モジュラーな visuo-tactile sensing、自動キャリブレーションを追加 - これにより 100% のデータ使用可能性 (data usability) を達成 - TPP は接触ダイナミクスを捉え、触覚の疎性 (tactile sparsity) を緩和 - 実世界実験で TPP が従来の tactile imitation learning を上回る

3. 技術・手法の肝は?

- ハードウェア: exUMI による拡張可能なデータ収集 - proprioception: AR MoCap と rotary encoder - モジュラーな visuo-tactile sensing - 自動キャリブレーション - アルゴリズム: Tactile Prediction Pretraining (TPP) - action-aware な時間的触覚予測 (temporal tactile prediction) による表現学習フレームワーク - 接触ダイナミクスを捉え、触覚の疎性を緩和 - 100 万フレーム超の触覚フレームを効率的に収集し、TPP の学習に活用

4. どうやって有効だと検証した?

- 100 万フレーム超の触覚フレームを収集し、TPP の事前学習に使用 - 実世界実験 (real-world experiments) を実施 - TPP が従来の tactile imitation learning を上回ることを示した - 詳細な評価指標やタスク設定は要旨からは不明

5. 議論はある?

- 人間の触覚的直感とロボット学習のギャップを、ハードウェアとアルゴリズムの共同設計で橋渡しすることを主張 - 接触の多いマニピュレーション研究を進めるためのオープンソースリソースを提供 - 具体的な限界や議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- vanilla UMI (exUMI の拡張元) - tactile imitation learning (比較対象として言及) - Tactile Prediction Pretraining (TPP) に関連する触覚表現学習 - AR MoCap や rotary encoder を用いた proprioception 関連研究 - 接触の多いマニピュレーション (contact-rich manipulation) の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yue Xu, Litao Wei, Pengyu An, Qingyu Zhang, Yong-Lu Li

分類: cs.RO

原文アブストラクト

Tactile-aware robot learning faces critical challenges in data collection and representation due to data scarcity and sparsity, and the absence of force feedback in existing systems. To address these limitations, we introduce a tactile robot learning system with both hardware and algorithm innovations. We present exUMI, an extensible data collection device that enhances the vanilla UMI with robust proprioception (via AR MoCap and rotary encoder), modular visuo-tactile sensing, and automated calibration, achieving 100% data usability. Building on an efficient collection of over 1 M tactile frames, we propose Tactile Prediction Pretraining (TPP), a representation learning framework through action-aware temporal tactile prediction, capturing contact dynamics and mitigating tactile sparsity. Real-world experiments show that TPP outperforms traditional tactile imitation learning. Our work bridges the gap between human tactile intuition and robot learning through co-designed hardware and algorithms, offering open-source resources to advance contact-rich manipulation research. Project page: https://silicx.github.io/exUMI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI