日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2601.16046

DextER: 身体性推論による言語駆動型巧みな把持生成

DextER: Language-driven Dexterous Grasp Generation with Embodied Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

指リンクと物体表面の接触を中間表現として自己回帰的に生成し、言語指示に沿った多指ハンドの把持姿勢を高精度に合成する手法を提案。

詳しい要約

1. どんなもの?

- 言語駆動の多指ハンドによる器用な把持生成を目的とした手法。 - 視覚言語モデルを用い、タスク意味論・3D形状・複雑なhand-object相互作用を扱う。 - 従来は観測から把持パラメータへ直接写像していたが、DextERは接触に基づくembodied reasoningを中間表現として導入。 - どのhand linkが物体表面のどこに接触するかをembodied contact tokensとして自己回帰生成し、続いてgrasp tokensでhand configurationを符号化。 - DexGYSで67.14%の成功率、意図整合性96.4%改善を報告。 - 部分的な接触指定によるsteerable generationも可能。

2. 先行研究と比べてどこがすごい?

- 既存のvision-languageモデルベース手法は、物理的相互作用の中間推論なしに観測を把持パラメータへ直接写像していた。 - DextERは接触ベースのembodied reasoningを導入し、タスク意味論と物理制約を橋渡しするembodiment-aware中間表現を生成。 - これによりDexGYSでstate-of-the-artを3.83 p.p.上回る67.14%の成功率を達成。 - 意図整合性は96.4%改善。 - 部分接触指定によるsteerable generationという追加の制御性も示す。

3. 技術・手法の肝は?

- 鍵となる着想は、どのhand linkが物体表面のどこに接触するかを予測することが、embodiment-awareな中間表現となり、タスク意味論と物理制約を橋渡しする点。 - DextERは自己回帰的にembodied contact tokensを生成し、これはどのfinger linkが物体表面のどこに接触するかを指定する。 - 続いてgrasp tokensを生成し、hand configurationを符号化する。 - 部分的な接触指定を通じてsteerable generationを実現し、把持合成を細粒度で制御可能。

4. どうやって有効だと検証した?

- DexGYS上で評価を実施。 - 成功率67.14%を達成し、state-of-the-artを3.83 p.p.上回る。 - 意図整合性が96.4%改善。 - 部分接触指定によるsteerable generationも実証。 - 詳細な実験設定やベースラインは要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界、失敗事例、計算コスト、一般化性、実機検証の有無などは記述されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてvision-language models、dexterous grasp generation、DexGYSベンチマーク、contact-based reasoning、autoregressive generationが挙げられる。 - 同分野の定番としてDexGYSやGraspNet、MultiDexなどのデータセット/手法が考えられるが、要旨に記載がないため一般名に留める。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junha Lee, Eunha Park, Minsu Cho

分類: cs.RO, cs.CV

原文アブストラクト

Language-driven dexterous grasp generation requires the models to understand task semantics, 3D geometry, and complex hand-object interactions. While vision-language models have been applied to this problem, existing approaches directly map observations to grasp parameters without intermediate reasoning about physical interactions. We present DextER, Dexterous Grasp Generation with Embodied Reasoning, which introduces contact-based embodied reasoning for multi-finger manipulation. Our key insight is that predicting which hand links contact where on the object surface provides an embodiment-aware intermediate representation, bridging task semantics with physical constraints. DextER autoregressively generates embodied contact tokens specifying which finger links contact where on the object surface, followed by grasp tokens encoding the hand configuration. On DexGYS, DextER achieves 67.14% success rate, outperforming state-of-the-art by 3.83 p.p. with 96.4% improvement in intention alignment. We also demonstrate steerable generation through partial contact specification, providing fine-grained control over grasp synthesis.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI