日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ収集/触覚/操作arXiv:2604.07335

TAMEn: 接触リッチなタスクにおけるクローズドループデータ収集のための触覚対応操作エンジン

TAMEn: Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks

シェア:XThreadsFacebookLINEはてブBluesky

手持ち型デモ収集システムで、異なるグリッパーに適応可能なウェアラブルインターフェースと、高精度モードとポータブルモードを組み合わせたデータ収集パイプラインを提案し、触覚情報を含むリカバリデータを統合してポリシーを改善する。

詳しい要約

1. どんなもの?

- 接触の多い両手マニピュレーションのための触覚対応データ収集エンジンTAMEnを提案。 - ハンドヘルド型のデモ収集を効率化し、閉ループのポリシー改善を可能にする。 - 異なるグリッパに適応するwearable interfaceと二重モード収集パイプラインを備える。 - 大規模触覚事前学習、タスク特化デモ、人間参加型リカバリデータをピラミッド型データ体制に統合。 - ハードウェアとデータセットをオープンソース化。

2. 先行研究と比べてどこがすごい?

- 従来のハードウェアはグリッパ固有で、追跡精度と携帯性のトレードオフがあった。 - デモ中のオンライン実行可能性チェックがなく、再現性が低かった。 - 既存のハンドヘルド設定はロボット実行中のインタラクティブなリカバリデータ収集が困難で、触覚情報も不足。 - TAMEnはクロスモルフォロジーなwearable interfaceで異種グリッパに迅速適応。 - 二重モード収集と触覚可視化リカバリ遠隔操作でこれらのギャップを橋渡し。

3. 技術・手法の肝は?

- クロスモルフォロジーwearable interfaceにより異種グリッパ間で迅速に適応。 - 二重モード取得パイプライン:motion captureによる高忠実度デモのprecision modeと、VRベース追跡によるportable mode。 - portable modeではin-the-wild取得と触覚可視化リカバリ遠隔操作を実現。 - 大規模触覚事前学習、タスク特化両手デモ、human-in-the-loopリカバリデータをピラミッド型データ体制に統合。 - 実行可能性を考慮したパイプラインで閉ループポリシー改善を可能にする。

4. どうやって有効だと検証した?

- 実行可能性を考慮したパイプラインがデモの再現性を大幅に改善することを実験で示す。 - 提案するvisuo-tactile学習フレームワークが多様な両手マニピュレーションタスクで成功率を34%から75%に向上。 - 具体的なタスクや評価指標の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは明示的な議論や限界の記述は不明。 - ハードウェアとデータセットのオープンソース化により再現性と研究支援を促進。 - 接触の多いタスクにおける触覚情報の重要性と閉ループデータ収集の有効性を示唆。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてhandheld demonstration collection、visuo-tactile manipulation、human-in-the-loop recovery learning、bimanual manipulationが挙げられる。 - 同分野の定番としてimitation learning、teleoperation、tactile sensingに関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Longyan Wu, Jieji Ren, Chenghang Jiang, Junxi Zhou, Shijia Peng, Ran Huang, Guoying Gu, Li Chen, Hongyang Li

分類: cs.RO

原文アブストラクト

Handheld paradigms offer an efficient and intuitive way for collecting large-scale demonstration of robot manipulation. However, achieving contact-rich bimanual manipulation through these methods remains a pivotal challenge, which is substantially hindered by hardware adaptability and data efficacy. Prior hardware designs remain gripper-specific and often face a trade-off between tracking precision and portability. Furthermore, the lack of online feasibility checking during demonstration leads to poor replayability. More importantly, existing handheld setups struggle to collect interactive recovery data during robot execution, lacking the authentic tactile information necessary for robust policy refinement. To bridge these gaps, we present TAMEn, a tactile-aware manipulation engine for closed-loop data collection in contact-rich tasks. Our system features a cross-morphology wearable interface that enables rapid adaptation across heterogeneous grippers. To balance data quality and environmental diversity, we implement a dual-modal acquisition pipeline: a precision mode leveraging motion capture for high-fidelity demonstrations, and a portable mode utilizing VR-based tracking for in-the-wild acquisition and tactile-visualized recovery teleoperation. Building on this hardware, we unify large-scale tactile pretraining, task-specific bimanual demonstrations, and human-in-the-loop recovery data into a pyramid-structured data regime, enabling closed-loop policy refinement. Experiments show that our feasibility-aware pipeline significantly improves demonstration replayability, and that the proposed visuo-tactile learning framework increases task success rates from 34% to 75% across diverse bimanual manipulation tasks. We further open-source the hardware and dataset to facilitate reproducibility and support research in visuo-tactile manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI