日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2601.08246

FSAG: 拡散モデルによる人間から多指ハンドへの指先ごとのアフォーダンス接地の強化

FSAG: Enhancing Human-to-Dexterous-Hand Finger-Specific Affordance Grounding via Diffusion Models

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画から拡散モデルを用いて物体のアフォーダンスを抽出し、多指ハンドの把持生成に活用することで、ハードウェア固有のデータ収集なしに汎用性の高い把持を実現した。

詳しい要約

1. どんなもの?

- 多指ハンドによる dexterous grasp synthesis の新フレームワーク FSAG を提案。 - 目的は functional intent と physical feasibility を両立する grasp 生成。 - 既存手法は semantic grounding と refinement を分離し不安定。 - ロボット把持データ収集を回避し data-efficient を実現。 - 人間の動画デモから affordance を抽出し depth と融合。 - 拡散モデルの事前知識を活用し接触目標を推定。

2. 先行研究と比べてどこがすごい?

- 従来は semantic grounding と refinement が分離し不安定な接触。 - 多指ハンドの高次元性・運動多様性で大規模データ依存。 - ハードウェア固有の把持データセット構築が高コスト。 - 提案はロボット把持データ収集を不要にし data-efficient。 - 単一 depth モダリティと foundation-model semantics で高性能。 - 未知物体・姿勢変化・複数ハンド embodiment への汎化を実証。

3. 技術・手法の肝は?

- 事前学習済み generative diffusion model の object-centric semantic prior を活用。 - 人間動画デモから temporally aligned で fine-grained な grasp affordance を抽出。 - depth 画像から得た 3D scene geometry と融合し接触目標を推定。 - affordance 領域を grasp refinement の目的関数に組み込み。 - 各 fingertip を予測領域へ明示的に誘導する最適化。 - これにより安定で人間直感的な multi-contact grasp を生成。

4. どうやって有効だと検証した?

- 一般的な物体・工具に対する安定した multi-contact grasp を生成。 - カテゴリ内の未知物体インスタンスへの汎化を確認。 - 姿勢変化への頑健性を検証。 - 複数の hand embodiment への cross-hand generalization を実証。 - 単一 depth モダリティで高性能 grasp synthesis が可能と示す。 - 詳細な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- ロボット把持データ収集を回避する data-efficient な枠組みを提示。 - 人間デモと事前学習生成モデルによるスケーラブルな道筋を示唆。 - hardware-agnostic な dexterous manipulation への貢献。 - 限界や失敗事例、計算コスト、リアルタイム性は要旨からは不明。 - 倫理的・安全面の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として diffusion model を用いた grasp synthesis 研究。 - vision-language model を活用した affordance grounding 研究。 - dexterous hand の grasp refinement に関する研究。 - 人間動画からの affordance 抽出に関する研究。 - 同分野の定番として multi-fingered grasp synthesis のサーベイ。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Han, Yichuan Peng, Pengfei Yi, Junyan Li, Hanqing Wang, Gaojing Zhang, Qi Peng Liu, Wenzhao Lian

分類: cs.RO

原文アブストラクト

Dexterous grasp synthesis must jointly satisfy functional intent and physical feasibility, yet existing pipelines often decouple semantic grounding from refinement, yielding unstable or non-functional contacts under object and pose variations. This challenge is exacerbated by the high dimensionality and kinematic diversity of multi-fingered hands, which makes many methods rely on large, hardware-specific grasp datasets collected in simulation or through costly real-world trials. We propose a data-efficient framework that bypasses robot grasp data collection by exploiting object-centric semantic priors in pretrained generative diffusion models. Temporally aligned and fine-grained grasp affordances are extracted from raw human video demonstrations and fused with 3D scene geometry from depth images to infer semantically grounded contact targets. We further incorporate these affordance regions into the grasp refinement objective, explicitly guiding each fingertip toward its predicted region during optimization. The resulting system produces stable, human-intuitive multi-contact grasps across common objects and tools, while exhibiting strong generalization to previously unseen object instances within a category, pose variations, and multiple hand embodiments.This work (i) introduces a semantic affordance extraction pipeline leveraging vision--language generative priors for dexterous grasping, (ii) demonstrates cross-hand generalization without constructing hardware-specific grasp datasets, and (iii) establishes that a single depth modality suffices for high-performance grasp synthesis when coupled with foundation-model semantics. Our results highlight a path toward scalable, hardware-agnostic dexterous manipulation driven by human demonstrations and pretrained generative models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI