マニピュレーション2026/1/1arXiv:2601.14550

TacUMI：接触の多いタスクのためのマルチモーダル汎用マニピュレーションインターフェース

TacUMI: A Multi-Modal Universal Manipulation Interface for Contact-Rich Tasks

手持ちデモ装置UMIに触覚・力覚・姿勢センサを統合し、接触の多い作業のマルチモーダルデータを収集できるようにした。さらに時系列モデルで作業を意味のある区間に分割する手法を提案し、ケーブル取付タスクで90%以上の分割精度を達成した。

詳しい要約

1. どんなもの？

- 接触の多い長期的なマニピュレーションタスクのためのマルチモーダルデータ収集システムTacUMIを提案。 - 手持ちデモンストレーションデバイスUMIを拡張し、ViTacセンサ、力覚センサ、ポーズトラッカーを統合。 - 人間のデモンストレーション中に同期してマルチモーダルデータを取得可能。 - マルチモーダルセグメンテーションフレームワークを提案し、意味のあるイベント境界を検出。

2. 先行研究と比べてどこがすごい？

- 従来のUMIは視覚と固有受容感覚のみで、接触を伴うタスクのイベント遷移を捉えにくい。 - TacUMIはViTacセンサ、力覚センサ、ポーズトラッカーを追加し、マルチモーダルデータを同期収集。 - セグメンテーション精度が90%以上を達成し、モダリティ増加で大幅改善することを示した。

3. 技術・手法の肝は？

- UMIをベースに、ViTacセンサ、力覚センサ、ポーズトラッカーをコンパクトなロボット互換グリッパに統合。 - 人間のデモンストレーション中に全モダリティを同期取得。 - 時系列モデルを活用したマルチモーダルセグメンテーションフレームワークでイベント境界を検出。

4. どうやって有効だと検証した？

- 難易度の高いケーブルマウントタスクで評価。 - セグメンテーション精度が90%以上。 - モダリティが増えるほど精度が顕著に向上することを確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- Universal Manipulation Interface (UMI) - ViTacセンサ関連研究 - マルチモーダルセグメンテーションの時系列モデル

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tailai Cheng, Kejia Chen, Lingyun Chen, Liding Zhang, Yue Zhang, Yao Ling, Mahdi Hamad, Zhenshan Bing, Fan Wu, Karan Sharma, Alois Knoll

分類: cs.RO

原文アブストラクト

Task decomposition is critical for understanding and learning complex long-horizon manipulation tasks. Especially for tasks involving rich physical interactions, relying solely on visual observations and robot proprioceptive information often fails to reveal the underlying event transitions. This raises the requirement for efficient collection of high-quality multi-modal data as well as robust segmentation method to decompose demonstrations into meaningful modules. Building on the idea of the handheld demonstration device Universal Manipulation Interface (UMI), we introduce TacUMI, a multi-modal data collection system that integrates additionally ViTac sensors, force-torque sensor, and pose tracker into a compact, robot-compatible gripper design, which enables synchronized acquisition of all these modalities during human demonstrations. We then propose a multi-modal segmentation framework that leverages temporal models to detect semantically meaningful event boundaries in sequential manipulations. Evaluation on a challenging cable mounting task shows more than 90 percent segmentation accuracy and highlights a remarkable improvement with more modalities, which validates that TacUMI establishes a practical foundation for both scalable collection and segmentation of multi-modal demonstrations in contact-rich tasks.

arXivで原文を読む →arXiv概要ページ

TacUMI：接触の多いタスクのためのマルチモーダル汎用マニピュレーションインターフェース

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell