日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセット/触覚/模倣学習arXiv:2606.04825

HapTile: 接触を伴う模倣学習のための触覚情報を統合した視覚・触覚・言語・行動データセット

HapTile: A Haptic-Informed Vision-Tactile-Language-Action Dataset for Contact-Rich Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作タスクの模倣学習向けに、指先触覚とオペレータへの触覚フィードバックを統合した視覚・触覚・言語・行動データセットを構築し、ベンチマーク評価も行った。

詳しい要約

1. どんなもの?

- 接触に根ざした視覚触覚操作データセット HapTile を提案。 - ロボットの指先 tactile feedback と、teleoperator 側の haptic-informed demonstrations を二段階で組み込む。 - 日常的な操作タスク(pick-and-place, folding, pressing, stacking など)を含む。 - 各タスクに language instructions、同期した visuotactile observations、action trajectories を付与。 - データセットと詳細は haptile-dataset.github.io で公開。

2. 先行研究と比べてどこがすごい?

- 既存の Vision-Language-Action (VLA) データセットは vision-only が大半。 - tactile を含むものも、task diversity、language conditioning、action trajectories の同時組み合わせを欠く。 - 既存 teleoperation pipeline は operator への haptic feedback をほとんど提供しない。 - HapTile は robot end-effector の fingertip tactile feedback と teleoperator 側の haptic feedback を統合。 - これにより接触に根ざしたデータ収集を実現。

3. 技術・手法の肝は?

- teleoperation controller に haptic feedback を直接統合し、operator が接触をリアルタイム知覚。 - 標準的で再現可能な robotic system に custom-designed fingertip tactile sensors を搭載。 - 各タスクに language instructions を付与し、policy を操作目的で条件付け。 - synchronized visuotactile observations と action trajectories を収集。 - 接触豊富な技能を幅広くカバーする日常操作タスクで構成。

4. どうやって有効だと検証した?

- contact-rich policy learning の benchmarking study を実施。 - 2 つの baseline models を用いて評価。 - 提案する contact-grounded dataset の有効性を検証。 - 具体的な評価指標や結果の詳細は要旨からは不明。

5. 議論はある?

- haptic feedback が demonstration quality と manipulation stability に果たす役割を背景として言及。 - 既存 teleoperation が haptic feedback を欠く点を課題として提示。 - データセットの限界、タスク範囲、一般化性に関する議論は要旨からは不明。 - baseline 比較の詳細な考察は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) データセット、visuotactile manipulation dataset、teleoperation with haptic feedback が挙げられる。 - 同分野の定番として vision-only VLA datasets や tactile-augmented manipulation datasets を読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amirhosein Alian, Yongqiang Zhao, Shiyi Gu, Xuyang Zhang, Zhuo Chen, Christopher E. Mower, Haitham Bou-Ammar, Shan Luo

分類: cs.RO

原文アブストラクト

Despite the importance of tactile sensing for reliable manipulation, most existing Vision-Language-Action (VLA) datasets remain vision-only, and those that do incorporate tactile information typically lack the joint combination of task diversity, language conditioning, and action trajectories. Furthermore, existing teleoperation pipelines rarely provide haptic feedback to the operator, despite its established role in demonstration quality and manipulation stability. In this work, we present HapTile, a contact-grounded visuotactile manipulation dataset that advances beyond vision-only trajectory datasets by embedding physical interaction sensing at two levels: fingertip tactile feedback at the robot end-effector, and haptic-informed demonstrations at the teleoperator side. The data collection platform integrates haptic feedback directly into the teleoperation controller, enabling the operator to perceive contact interactions in real time. It is built around a standard and reproducible robotic system equipped with custom-designed fingertip tactile sensors. The dataset comprises everyday manipulation tasks spanning a broad range of contact-rich skills, including pick-and-place, folding, pressing, stacking, and other routine activities. Each task is paired with language instructions that condition the policy on the manipulation objective, together with synchronized visuotactile observations and action trajectories. In addition, we provide a benchmarking study on contact-rich policy learning using two baseline models to evaluate the effectiveness of the proposed contact-grounded dataset. The dataset and additional details are available on our website: haptile-dataset.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI