日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2505.21495

CLAMP:オープンソースデバイスによる大規模実世界触覚データのクラウドソーシングとマルチモーダルロボット知覚

CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception

シェア:XThreadsFacebookLINEはてブBluesky

低コストの触覚センサ付き把持具を一般家庭に配布して大規模な実世界マルチモーダル触覚データセットを構築し、それを用いて物体の材質や柔軟性を推定する視触覚認識モデルを学習した。

詳しい要約

1. どんなもの?

- CLAMP は、低コスト(200ドル未満)の sensorized reacher-grabber を用いて、非専門家から everyday settings で大規模な in-the-wild multimodal haptic data を収集する取り組み。 - 16 台の CLAMP device を 41 名の参加者に配備し、5357 の household objects にわたる 12.3 million datapoints からなる CLAMP dataset を構築。 - このデータで haptic encoder を学習し、material と compliance の object properties を推定。さらに visuo-haptic perception model(CLAMP model)による material recognition を実現。

2. 先行研究と比べてどこがすごい?

- 従来、multimodal haptic sensing の進展は、大規模・多様・現実的な haptic datasets の不足に制約されていた。 - CLAMP は低コストデバイスと crowdsourcing により、非専門家・日常環境から収集する点が新しい。 - 結果として、12.3 million datapoints・5357 household objects という、現時点で最大の open-source multimodal haptic dataset を実現したと主張。

3. 技術・手法の肝は?

- 低コスト(200ドル未満)の sensorized reacher-grabber である CLAMP device を設計し、非専門家ユーザが日常環境で haptic data を収集できるようにした。 - 16 台を 41 名に配備して CLAMP dataset を構築。 - このデータから haptic encoder を学習し、material と compliance の object properties を推定。 - その encoder を活用し、material recognition のための visuo-haptic perception model(CLAMP model)を構築。

4. どうやって有効だと検証した?

- CLAMP model が novel objects と 3 つの robot embodiments に、minimal finetuning で汎化することを示した。 - 3 つの real-world robot manipulation tasks で有効性を実証:recyclable と non-recyclable waste の sorting、cluttered bag からの object retrieval、overripe と ripe の banana の判別。 - これらの結果から、大規模な in-the-wild haptic data collection が generalizable robot manipulation の新能力を開くと結論。

5. 議論はある?

- 大規模な in-the-wild haptic data の収集が、汎化可能な robot manipulation の新たな能力につながることを示唆。 - 具体的な限界・失敗事例・データ収集バイアス・コスト対効果などの議論は要旨からは不明。 - 実世界 3 タスクでの有効性は示されるが、詳細な比較考察は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、multimodal haptic sensing、visuo-haptic perception、haptic encoder、material recognition、compliance estimation に関する研究を挙げる。 - 同分野の定番として、vision-based tactile sensing(例:GelSight 系)や multimodal manipulation datasets の論文を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pranav N. Thakkar, Shubhangi Sinha, Karan Baijal, Yuhan, Bian, Leah Lackey, Ben Dodson, Heisen Kong, Jueun Kwon, Amber Li, Yifei Hu, Alexios Rekoutis, Tom Silver, Tapomayukh Bhattacharjee

分類: cs.RO

原文アブストラクト

Robust robot manipulation in unstructured environments often requires understanding object properties that extend beyond geometry, such as material or compliance-properties that can be challenging to infer using vision alone. Multimodal haptic sensing provides a promising avenue for inferring such properties, yet progress has been constrained by the lack of large, diverse, and realistic haptic datasets. In this work, we introduce the CLAMP device, a low-cost (<\$200) sensorized reacher-grabber designed to collect large-scale, in-the-wild multimodal haptic data from non-expert users in everyday settings. We deployed 16 CLAMP devices to 41 participants, resulting in the CLAMP dataset, the largest open-source multimodal haptic dataset to date, comprising 12.3 million datapoints across 5357 household objects. Using this dataset, we train a haptic encoder that can infer material and compliance object properties from multimodal haptic data. We leverage this encoder to create the CLAMP model, a visuo-haptic perception model for material recognition that generalizes to novel objects and three robot embodiments with minimal finetuning. We also demonstrate the effectiveness of our model in three real-world robot manipulation tasks: sorting recyclable and non-recyclable waste, retrieving objects from a cluttered bag, and distinguishing overripe from ripe bananas. Our results show that large-scale, in-the-wild haptic data collection can unlock new capabilities for generalizable robot manipulation. Website: https://emprise.cs.cornell.edu/clamp/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI