器用操作/触覚/視覚-触覚融合2026/4/1arXiv:2604.20689

FingerEye: 連続的な視覚-触覚センシングによる器用な操作の学習

FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing

指先にカメラと変形可能な接触インターフェースを統合し、接触前後の連続的な視覚-触覚フィードバックで器用な操作を学習するフレームワークを提案。グループ構造化モダリティ融合により、シミュレーションと実世界の両方で成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- FingerEyeは、接触前から接触後まで連続的な視覚・触覚フィードバックを提供するロボットデクスタラスマニピュレーションのためのセンシング・学習フレームワーク。 - センシング面では、両眼RGBカメラとコンプライアント接触インターフェースを統合し、接触前は指先カメラによる近距離視覚と暗黙のステレオ、接触後はマーカー追跡による変形で接触レンチを推定。 - 学習面では、実機とシミュレーションのインフラを構築し、複数のFingerEyeセンサーを用いたポリシーインターフェース設計を体系的に検討。 - FingerEye Policyはグループ構造化モダリティ融合を適用し、モダリティショートカットを低減し、分散した指先フィードバックを活用。

2. 先行研究と比べてどこがすごい？

- 従来のリストのみのポリシーと比較して、接触に敏感な7つのタスク設定で平均成功率を30パーセントポイント以上改善。 - シミュレーションと実世界の両方で有効性を確認。 - 接触前後の連続的な視覚触覚フィードバックを統合する点が先行研究と異なる。

3. 技術・手法の肝は？

- 両眼RGBカメラとコンプライアント接触インターフェースを指先に統合。 - 接触前は指先カメラによる近距離視覚と暗黙のステレオでアプローチと物体位置推定を支援。 - 接触後はマーカー追跡によるコンプライアントリングの変形から接触レンチを推定。 - 実機とシミュレーションのデータ収集・評価インフラを構築。 - 複数のFingerEyeセンサーを用いたポリシーインターフェース設計を体系的に検討。 - FingerEye Policyはグループ構造化モダリティ融合を適用し、モダリティショートカットを低減。

4. どうやって有効だと検証した？

- 接触に敏感な7つのタスク設定で評価。 - シミュレーションと実世界の両方で、リストのみのポリシーと比較して平均成功率が30パーセントポイント以上向上。 - 実機とシミュレーションのインフラを用いてデータ収集と評価を実施。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Vision-based Tactile Sensing (e.g., GelSight), Dexterous Manipulation with Reinforcement Learning, Multi-modal Fusion for Robotics などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhixuan Xu, Yichen Li, Xuanye Wu, Tianyu Qiu, Lin Shao

分類: cs.RO

原文アブストラクト

Dexterous robotic manipulation requires perception that remains informative from pre-contact approach to contact initiation and post-contact control. We introduce FingerEye, a sensing and learning framework that strengthens robotic dexterity through continuous vision-tactile feedback throughout interaction. On the sensing side, FingerEye integrates binocular RGB cameras with a compliant contact interface to support perception both before and after contact. Before contact, the fingertip cameras provide close-range visual cues and implicit stereo for precise approach and object localization. After contact, marker-tracked deformation of the compliant ring provides a proxy for contact wrench sensing. On the learning side, we build real-and-sim infrastructure for data collection and evaluation, systematically study policy-interface designs for learning with multiple FingerEye sensors, and develop FingerEye Policy, which applies group-structured modality fusion to reduce modality shortcuts and better exploit distributed fingertip feedback. Across seven contact-sensitive task settings, FingerEye improves wrist-only policy by over 30 percentage points in mean success rate in both simulation and the real world.

arXivで原文を読む →arXiv概要ページ

← 論文一覧