視覚-触覚融合2026/3/1arXiv:2603.20290

視覚-触覚融合による透明破片の輪郭推定：自律的再組立に向けて

Transparent Fragments Contour Estimation via Visual-Tactile Fusion for Autonomous Reassembly

透明な破片の輪郭を視覚と触覚の融合で推定するフレームワークを提案し、データセットとネットワークを構築して実世界で検証した。

詳しい要約

1. どんなもの？

- 透明な破片の輪郭推定を目的とした、visual-tactile fusionに基づくフレームワーク。 - 自律的な再組立て（精密光学機器修理、文化財修復、貴重装置の破損事故特定）への応用を想定。 - 透明破片は光学特性・不規則形状・エッジのため、一般の透明物体より輪郭推定が困難。 - TransFrag27Kというマルチシーン合成データセットとスケーラブルな生成パイプラインを構築。 - TransFragNetというvisual grasping position detection networkを提案。 - Gelsight Miniセンサ付き2本指グリッパで側面エッジの触覚情報を再構成。 - 視覚と触覚を融合したmaterial classifierと輪郭推定フレームワークを提案。 - 多次元類似度指標に基づく輪郭マッチングと再組立てアルゴリズムを提案。

2. 先行研究と比べてどこがすごい？

- 一般の完全な透明物体と異なり、透明破片の輪郭推定は光学特性・不規則形状・エッジのため困難。 - 従来の透明物体認識・輪郭推定手法では対応が難しく、visual-tactile fusionを導入。 - 人間が視覚と触覚を組み合わせて破片の輪郭を推定する方法に着想。 - TransFrag27Kという透明破片専用の合成データセットを新規構築。 - 再現可能なベンチマークを提供し、visual-tactile輪郭推定と破片再組立ての評価を可能に。 - 実世界検証で強い性能を示した点が先行研究と比べて優位。

3. 技術・手法の肝は？

- TransFrag27K：複数種類の透明物体の破片をマルチシーンで合成したデータセットと生成パイプライン。 - TransFragNet：visual grasping position detection networkで、サンプリング把持位置を識別・定位・セグメンテーション。 - Gelsight Miniセンサ付き2本指グリッパで破片側面エッジの触覚情報を再構成。 - 触覚情報と視覚手がかりを融合し、visual-tactile fusion material classifierを提案。 - 人間の視触覚統合による輪郭推定に倣った一般的な透明破片輪郭推定フレームワーク。 - 多次元類似度指標に基づく輪郭マッチングと再組立てアルゴリズム。

4. どうやって有効だと検証した？

- 実世界での検証を実施し、フレームワークが強い性能を示した。 - 実験結果により提案フレームワークの有効性を実証。 - 多次元類似度指標に基づく輪郭マッチングと再組立てアルゴリズムにより、再現可能なベンチマークを提供。 - データセットとコードはGitHubで公開。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、visual-tactile fusion、Gelsight Mini、TransFragNet、TransFrag27Kが挙げられる。 - 同分野の定番として、transparent object recognition、contour estimation、fragment reassemblyの研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qihao Lin, Borui Chen, Yuping Zhou, Jianing Wu, Yulan Guo, Weishi Zheng, Chongkun Xia

分類: cs.CV, cs.RO, eess.IV

原文アブストラクト

The contour estimation of transparent fragments is very important for autonomous reassembly, especially in the fields of precision optical instrument repair, cultural relic restoration, and identification of other precious device broken accidents. Different from general intact transparent objects, the contour estimation of transparent fragments face greater challenges due to strict optical properties, irregular shapes and edges. To address this issue, a general transparent fragments contour estimation framework based on visual-tactile fusion is proposed in this paper. First, we construct the transparent fragment dataset named TransFrag27K, which includes a multiscene synthetic data of broken fragments from multiple types of transparent objects, and a scalable synthetic data generation pipeline. Secondly, we propose a visual grasping position detection network named TransFragNet to identify, locate and segment the sampling grasping position. And, we use a two-finger gripper with Gelsight Mini sensors to obtain reconstructed tactile information of the lateral edge of the fragments. By fusing this tactile information with visual cues, a visual-tactile fusion material classifier is proposed. Inspired by the way humans estimate a fragment's contour combining vision and touch, we introduce a general transparent fragment contour estimation framework based on visual-tactile fusion, demonstrates strong performance in real-world validation. Finally, a multi-dimensional similarity metrics based contour matching and reassembly algorithm is proposed, providing a reproducible benchmark for evaluating visual-tactile contour estimation and fragment reassembly. The experimental results demonstrate the validity of the proposed framework. The dataset and codes are available at https://github.com/Keithllin/Transparent-Fragments-Contour-Estimation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧