日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2603.11655

把持と非把持の同時操作:多段階器用タスクへの実用的アプローチ

Concurrent Prehensile and Nonprehensile Manipulation: A Practical Approach to Multi-Stage Dexterous Tasks

シェア:XThreadsFacebookLINEはてブBluesky

物体把持と別物体への操作を同時に行う多段階タスクを、物体中心スキルに分解し、少数の実演から実機で学習・実行する手法DexMultiを提案。

詳しい要約

1. どんなもの?

- 実世界でのdexterous multi-task manipulationを対象としたDexMultiを提案。 - 把持しながら別対象を操作するconcurrent prehensile and nonprehensile manipulationを含む。 - 長期的・接触多いmulti-stageタスクを対象。 - デモをobject-centric skillsに分解し、retrieve-align-executeで実行。 - 3タスク(Grasp + Pull, Grasp + Open, Grasp + Grasp)を評価。

2. 先行研究と比べてどこがすごい?

- 従来のmonolithic policyではなく、object-centric skillsに分解する点が特徴。 - diffusion policy baselinesと比較し、2-3xの成功率向上。 - 訓練対象あたり3-4デモという少ないデモで平均成功率66%。 - デモ収集コストが高い問題に対しsample-efficient。 - 未知物体や±25 cmの空間変動への汎化を示す。

3. 技術・手法の肝は?

- デモをobject-centric skillsに分解し、時間的境界を明確化。 - 現在のobject geometryに基づき実演済みskillをretrieve。 - uncertainty-aware estimatorでcentroidとyawを追跡し、観測状態にalign。 - retrieve-align-execute paradigmで実行。 - エンドツーエンド方策ではなく、skill単位の再利用を狙う。

4. どうやって有効だと検証した?

- 3つのmulti-stageタスク(Grasp + Pull, Grasp + Open, Grasp + Grasp)で評価。 - 2種類のdexterous hands(AllegroとLEAP)を使用。 - 1,000回以上の実世界トライアルを実施。 - 訓練物体で平均成功率66%、diffusion policy baselinesを2-3x上回る。 - held-out objectsと±25 cmの空間変動への汎化を確認。

5. 議論はある?

- デモ収集が高コストで、end-to-end方策は多様な形状・配置への汎化に大量データを要する点を課題として提示。 - 提案法は少ないデモで多段タスクを実現するが、成功率66%であり完全ではない。 - 訓練物体と未知物体・空間変動への頑健性を示す一方、限界や失敗要因の詳細は要旨からは不明。 - 実世界トライアル中心の評価で、シミュレーションとの比較は要旨からは不明。

6. 次に読むべき論文は?

- diffusion policy baselines(比較対象として明記)。 - dexterous manipulationに関する一般的な先行研究(具体名は要旨からは不明)。 - AllegroやLEAPを用いたdexterous hand研究(関連ハードウェアとして挙げられている)。 - object-centric skill learningやretrieve-align-executeに関連する手法(具体名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Jiang, Yue Wu, Yue Wang, Gaurav S. Sukhatme, Daniel Seita

分類: cs.RO

原文アブストラクト

Dexterous hands enable concurrent prehensile and nonprehensile manipulation, such as holding one object while interacting with another, a capability essential for everyday tasks yet underexplored in robotics. Learning such long-horizon, contact-rich multi-stage behaviors is challenging because demonstrations are expensive to collect and end-to-end policies require substantial data to generalize across varied object geometries and placements. We present DexMulti, a sample-efficient approach for real-world dexterous multi-task manipulation that decomposes demonstrations into object-centric skills with well-defined temporal boundaries. Rather than learning monolithic policies, our method retrieves demonstrated skills based on current object geometry, aligns them to the observed object state using an uncertainty-aware estimator that tracks centroid and yaw, and executes them via a retrieve-align-execute paradigm. We evaluate on three multi-stage tasks requiring concurrent manipulation (Grasp + Pull, Grasp + Open, and Grasp + Grasp) across two dexterous hands (Allegro and LEAP) in over 1,000 real-world trials. Our approach achieves an average success rate of 66% on training objects with only 3-4 demonstrations per object, outperforming diffusion policy baselines by 2-3x while requiring far fewer demonstrations. Results demonstrate robust generalization to held-out objects and spatial variations up to +/-25 cm.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI