データセット/触覚/バイマニュアル操作2026/4/1arXiv:2604.20444

VTouch++: バイマニュアル操作のための視覚ベース触覚拡張を備えたマルチモーダルデータセット

VTouch++: A Multimodal Dataset with Vision-Based Tactile Enhancement for Bimanual Manipulation

両手操作の接触を伴うタスクを改善するため、視覚ベースの触覚センシングを用いた大規模マルチモーダルデータセットVTOUCHを構築し、その有効性を実験と実ロボット評価で示した。

詳しい要約

1. どんなもの？

- 両手マニピュレーション（bimanual manipulation）のためのマルチモーダルデータセット「VTOUCH」を提案。 - 接触の多いタスク（contact-rich tasks）に焦点を当て、視覚ベース触覚センシング（vision-based tactile sensing）による高忠実度の物理相互作用信号を含む。 - 行列型のタスク設計（matrix-style task design）で体系的な学習を可能にし、実世界の需要駆動型シナリオをカバーする自動データ収集パイプラインでスケーラビリティを確保。 - データセットの有効性を検証するため、クロスモーダル検索（cross-modal retrieval）と実ロボット評価を実施。 - 複数のロボット、ポリシー、タスクにわたる汎化推論を通じて実世界性能を実証。

2. 先行研究と比べてどこがすごい？

- 従来の両手マニピュレーション用データセットは、豊富な物理相互作用信号、体系的なタスク組織、十分な規模が欠けていた。 - VTOUCHは視覚ベース触覚センシングを活用して高忠実度の物理相互作用信号を提供し、行列型タスク設計で体系的な学習を可能にし、自動収集パイプラインでスケーラビリティを実現。 - これにより、接触の多い両手タスクにおけるデータセットの限界を克服する点が先行研究と比べて優れている。

3. 技術・手法の肝は？

- 視覚ベース触覚センシング（vision-based tactile sensing）を採用し、高忠実度の物理相互作用信号を取得。 - 行列型のタスク設計（matrix-style task design）を導入し、体系的な学習を可能にする。 - 実世界の需要駆動型シナリオをカバーする自動データ収集パイプラインを構築し、スケーラビリティを確保。 - これらの手法により、両手マニピュレーションのためのマルチモーダルデータセットを構築。

4. どうやって有効だと検証した？

- クロスモーダル検索（cross-modal retrieval）に関する広範な定量的実験を実施。 - 実ロボット評価（real-robot evaluation）を実施。 - 複数のロボット、ポリシー、タスクにわたる汎化推論を通じて実世界性能を実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。関連手法として、vision-based tactile sensing（例：GelSight）、bimanual manipulationのデータセット（例：RoboTurk、MIME）、cross-modal retrievalの研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qianxi Hua, Xinyue Li, Zheng Yan, Yang Li, Chi Zhang, Yongyao Li, Yufei Liu

分類: cs.RO, cs.AI, cs.DB, cs.LG

原文アブストラクト

Embodied intelligence has advanced rapidly in recent years; however, bimanual manipulation-especially in contact-rich tasks remains challenging. This is largely due to the lack of datasets with rich physical interaction signals, systematic task organization, and sufficient scale. To address these limitations, we introduce the VTOUCH dataset. It leverages vision based tactile sensing to provide high-fidelity physical interaction signals, adopts a matrix-style task design to enable systematic learning, and employs automated data collection pipelines covering real-world, demand-driven scenarios to ensure scalability. To further validate the effectiveness of the dataset, we conduct extensive quantitative experiments on cross-modal retrieval as well as real-robot evaluation. Finally, we demonstrate real-world performance through generalizable inference across multiple robots, policies, and tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧