日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

把持支援/外骨格/マルチモーダルarXiv:2509.04324

OVGrasp: マルチモーダル意図検出によるオープンボキャブラリ把握支援

OVGrasp: Open-Vocabulary Grasping Assistance via Multimodal Intent Detection

シェア:XThreadsFacebookLINEはてブBluesky

RGB-D視覚・オープンボキャブラリプロンプト・音声コマンドを統合し、未学習物体でもゼロショットで把持意図を推定するソフト外骨格型把持支援フレームワークを提案。

詳しい要約

1. どんなもの?

- 軟性外骨格による把持支援のための階層型制御フレームワーク OVGrasp を提案 - RGB-D 視覚・open-vocabulary prompts・音声コマンドを統合したマルチモーダル対話を実現 - 運動機能障害者の非構造環境での自律性回復を狙う - 自作の egocentric-view ウェアラブル外骨格に実装

2. 先行研究と比べてどこがすごい?

- vision-language foundation model と open-vocabulary 機構により再学習なしの zero-shot 物体検出を実現 - 多物体場面で空間・言語手がかりを統合し grasp/release の意図推定を行う multimodal decision-maker を備える - 実験で grasping ability score (GAS) 87.00% を達成し state-of-the-art ベースラインを上回る - 自然な手の動きとの kinematic alignment も改善

3. 技術・手法の肝は?

- 階層型制御: 視覚・言語入力から意図を推定し外骨格を制御 - RGB-D 視覚 + open-vocabulary prompts + 音声コマンドのマルチモーダル融合 - vision-language foundation model による open-vocabulary な zero-shot 物体検出 - multimodal decision-maker が空間・言語手がかりを統合し多物体下で意図を判断

4. どうやって有効だと検証した?

- 自作 egocentric-view ウェアラブル外骨格上にフレームワーク全体を実装 - 15 物体・3 把持タイプでの系統的評価を実施 - 10 名の参加者による実験で GAS 87.00% を記録 - state-of-the-art ベースラインとの比較および自然な手の動きとの kinematic alignment を評価

5. 議論はある?

- 要旨からは不明(限界・失敗事例・被験者多様性などの議論は記載なし)

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究名は記載なし - 関連手法として vision-language foundation model、open-vocabulary detection、soft exoskeleton の把持支援、multimodal intent detection に関する文献を次に読むべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chen Hu, Shan Luo, Letizia Gionfrida

分類: cs.RO, cs.CV

原文アブストラクト

Grasping assistance is essential for restoring autonomy in individuals with motor impairments, particularly in unstructured environments where object categories and user intentions are diverse and unpredictable. We present OVGrasp, a hierarchical control framework for soft exoskeleton-based grasp assistance that integrates RGB-D vision, open-vocabulary prompts, and voice commands to enable robust multimodal interaction. To enhance generalization in open environments, OVGrasp incorporates a vision-language foundation model with an open-vocabulary mechanism, allowing zero-shot detection of previously unseen objects without retraining. A multimodal decision-maker further fuses spatial and linguistic cues to infer user intent, such as grasp or release, in multi-object scenarios. We deploy the complete framework on a custom egocentric-view wearable exoskeleton and conduct systematic evaluations on 15 objects across three grasp types. Experimental results with ten participants demonstrate that OVGrasp achieves a grasping ability score (GAS) of 87.00%, outperforming state-of-the-art baselines and achieving improved kinematic alignment with natural hand motion.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI