日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.08354

人間のように掴む:固有感覚運動統合から汎化可能な多指把持を学習

Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration

シェア:XThreadsFacebookLINEはてブBluesky

データグローブで人間の触覚・運動感覚を計測し、グラフ表現と時空間ネットワークを用いてロボット多指ハンドへ把持技能を転移する模倣学習フレームワークを提案した。

詳しい要約

1. どんなもの?

- 人間の触覚・固有感覚(tactile/kinesthetic)の統合を模倣し、多指ロボットハンドの汎化可能な grasping を学習する枠組み - データグローブを介して人間の自然な把持デモンストレーションを取得し、ロボット実行へ転移する imitation learning ベースの手法 - 変形物体を含む汎化 grasping タスクで有効性を検証

2. 先行研究と比べてどこがすごい?

- ロボットハンドでも tactile/kinesthetic feedback の取得自体は可能だが、感覚から motor action への直接マッピング構築が困難という課題に対処 - 人間とロボット双方に適用可能なデータグローブで関節レベルの tactile/kinesthetic データを収集し、生データ形式の一貫性を確保 - 人間とロボットの形態差を表現に明示的に組み込み、異なる demonstrator とロボットハンド間の互換性を高めた点 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- 関節レベルで tactile/kinesthetic を取得するデータグローブを人間・ロボット両対応で統合 - 極座標を用いた graph 構造に基づく multi-modal 入力の統一表現を構築し、形態差を明示的に統合 - Tactile-Kinesthetic Spatio-Temporal Graph Networks (TK-STGN) を導入 - 多次元 subgraph convolution と attention ベースの LSTM 層で graph 入力から時空間特徴を抽出 - 各手関節の node-based state を予測 - 予測を force-position hybrid mapping により最終コマンドへ変換

4. どうやって有効だと検証した?

- 変形物体を含む汎化 grasping タスクで有効性を検証したと記載 - データグローブにより人間とロボット双方の grasping を同一生データ形式で評価可能とした枠組みで検証 - 具体的な実験設定・比較対象・指標は要旨からは不明

5. 議論はある?

- 変形物体を含む汎化 grasping への適用可能性を示唆 - 形態差を表現に組み込むことで demonstrator とロボットハンド間の互換性を高める設計上の議論 - 限界・失敗事例・定量的な議論は要旨からは不明

6. 次に読むべき論文は?

- imitation learning を用いた grasping skill transfer の関連研究 - Tactile-Kinesthetic Spatio-Temporal Graph Networks (TK-STGN) に関連する graph convolution / attention-based LSTM を用いた手法 - force-position hybrid mapping に関する研究 - 変形物体 grasping の研究 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ce Guo, Xieyuanli Chen, Zhiwen Zeng, Zirui Guo, Yihong Li, Haoran Xiao, Dewen Hu, Huimin Lu

分類: cs.RO, cs.AI

原文アブストラクト

Tactile and kinesthetic perceptions are crucial for human dexterous manipulation, enabling reliable grasping of objects via proprioceptive sensorimotor integration. For robotic hands, even though acquiring such tactile and kinesthetic feedback is feasible, establishing a direct mapping from this sensory feedback to motor actions remains challenging. In this paper, we propose a novel glove-mediated tactile-kinematic perception-prediction framework for grasp skill transfer from human intuitive and natural operation to robotic execution based on imitation learning, and its effectiveness is validated through generalized grasping tasks, including those involving deformable objects. Firstly, we integrate a data glove to capture tactile and kinesthetic data at the joint level. The glove is adaptable for both human and robotic hands, allowing data collection from natural human hand demonstrations across different scenarios. It ensures consistency in the raw data format, enabling evaluation of grasping for both human and robotic hands. Secondly, we establish a unified representation of multi-modal inputs based on graph structures with polar coordinates. We explicitly integrate the morphological differences into the designed representation, enhancing the compatibility across different demonstrators and robotic hands. Furthermore, we introduce the Tactile-Kinesthetic Spatio-Temporal Graph Networks (TK-STGN), which leverage multidimensional subgraph convolutions and attention-based LSTM layers to extract spatio-temporal features from graph inputs to predict node-based states for each hand joint. These predictions are then mapped to final commands through a force-position hybrid mapping.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI