GazeGrasp: ウェアラブル視線インターフェースによるDNN駆動ロボット把持
GazeGrasp: DNN-Driven Robotic Grasping with Wearable Eye-Gaze Interface
ESP32カメラとMediaPipe・YOLOv8を組み合わせ、視線で協働ロボットを操作して物体を把持する支援システムを開発し、磁気スナップ効果で作業効率を31%改善した。
著者: Issatay Tokmurziyev, Miguel Altamirano Cabrera, Luis Moreno, Muhammad Haris Khan, Dzmitry Tsetserukou
分類: cs.RO
原文アブストラクト
We present GazeGrasp, a gaze-based manipulation system enabling individuals with motor impairments to control collaborative robots using eye-gaze. The system employs an ESP32 CAM for eye tracking, MediaPipe for gaze detection, and YOLOv8 for object localization, integrated with a Universal Robot UR10 for manipulation tasks. After user-specific calibration, the system allows intuitive object selection with a magnetic snapping effect and robot control via eye gestures. Experimental evaluation involving 13 participants demonstrated that the magnetic snapping effect significantly reduced gaze alignment time, improving task efficiency by 31%. GazeGrasp provides a robust, hands-free interface for assistive robotics, enhancing accessibility and autonomy for users.
関連論文
- 経験時代における実世界コード・アズ・ポリシー：ACE-CaP-0マニピュレーション
- 把持のアドミタンスによる入出力特性評価：設計パラメータと把持挙動の接続マニピュレーション
- ManiLadder：カテゴリ別・多難易度タスクラダーによるロボットマニピュレーションのベンチマークマニピュレーション
- 成功確率を変える事象を記憶する：Criticゲート付きイベントメモリによる長期的マニピュレーションマニピュレーション
- BiPOP: 長期的な両腕ロボット操作のための部分順序計画マニピュレーション
- RUMI: 拡張現実と触覚フィードバックを備えたRobotiq対応の汎用マニピュレーションインターフェースマニピュレーション
