日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.22113

RaycastGrasp: ウェアラブルデバイスによる視線操作でロボットマニピュレーション

RaycastGrasp: Eye-Gaze Interaction with Wearable Devices for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

MRヘッドセットを用いて、ユーザーの一人称視点の視線固定で実世界の物体を操作する支援ロボットインタフェースを提案し、88%以上の意図・物体認識精度を達成した。

詳しい要約

1. どんなもの?

- 移動機能障害を持つ人の物体取得を支援するための、egocentric な gaze 誘導ロボットマニピュレーションインタフェース。 - wearable Mixed Reality (MR) headset を用い、一人称視点の自然な gaze fixation で実世界物体と対話。 - augmented visual cues で意図確認を提示し、pretrained vision model と robotic arm で意図認識・物体操作を実行。

2. 先行研究と比べてどこがすごい?

- 従来主流の joystick-based control は高精度要求と直感的でない reference frames が課題。 - 既存の代替 modality は external screens や制約的な制御方式に依存し、直感性・accessibility を制限。 - 本研究は external screen を排し、MR headset による一人称 gaze と augmented visual cues で直感性と accessibility を狙う点が異なる。

3. 技術・手法の肝は?

- wearable Mixed Reality (MR) headset による egocentric な gaze 入力。 - 自然な gaze fixation を意図として扱い、augmented visual cues で意図を確認。 - pretrained vision model で意図・物体を認識し、robotic arm で操作を実行。 - 詳細なアルゴリズムやモデル構成は要旨からは不明。

4. どうやって有効だと検証した?

- 複数の real-world scenarios で実験。 - manipulation accuracy の有意な改善、system latency の低減を報告。 - single-pass intention and object recognition accuracy が 88% 超を達成。 - 具体的な被験者数・試行数・比較条件は要旨からは不明。

5. 議論はある?

- 直感性と accessibility の向上、assistive robotics 応用への実用的意義を主張。 - 一方、限界・失敗事例・ユーザビリティ評価の詳細、倫理的配慮は要旨からは不明。 - 比較対象の制御方式との定量的比較の詳細も要旨からは不明。

6. 次に読むべき論文は?

- joystick-based control との比較研究。 - external screen を用いる既存 human-robot interaction インタフェース。 - gaze-based robot control や eye-gaze interaction の関連研究。 - Mixed Reality (MR) headset を用いた assistive robotics 研究。 - pretrained vision model を用いた意図認識・物体認識の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zitiantao Lin, Yongpeng Sang, Yang Ye

分類: cs.RO, cs.HC

原文アブストラクト

Robotic manipulators are increasingly used to assist individuals with mobility impairments in object retrieval. However, the predominant joystick-based control interfaces can be challenging due to high precision requirements and unintuitive reference frames. Recent advances in human-robot interaction have explored alternative modalities, yet many solutions still rely on external screens or restrictive control schemes, limiting their intuitiveness and accessibility. To address these challenges, we present an egocentric, gaze-guided robotic manipulation interface that leverages a wearable Mixed Reality (MR) headset. Our system enables users to interact seamlessly with real-world objects using natural gaze fixation from a first-person perspective, while providing augmented visual cues to confirm intent and leveraging a pretrained vision model and robotic arm for intent recognition and object manipulation. Experimental results demonstrate that our approach significantly improves manipulation accuracy, reduces system latency, and achieves single-pass intention and object recognition accuracy greater than 88% across multiple real-world scenarios. These results demonstrate the system's effectiveness in enhancing intuitiveness and accessibility, underscoring its practical significance for assistive robotics applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI