日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

巧みな操作arXiv:2606.30749

把持から巧みな操作へ:巧みな操作のための大規模把持事前学習

From Grasps to Dexterity: Large-Scale Grasp Pretraining for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

大規模な巧みな把持データセットを利用して低レベル制御器を事前学習し、関節式ツール使用などの機能的な巧みな操作タスクで性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

大規模な dexterous grasp データセットを、grasp 生成や pick-and-place だけでなく、articulated tool use における functional dexterity の獲得に活用できるかを検討した研究。 - hierarchical imitation learning を採用し、high-level の hand sub-goal 予測と low-level の goal-conditioned controller を組み合わせる。 - 355k-trajectory の grasp-pretraining データセットを大規模 dexterous grasp アノテーションから構築し、low-level controller の pretraining に使用。 - その後、下流タスクのデモンストレーションで fine-tuning する。 - 評価用に DexCraft という simulation benchmark を導入。6 つの articulated tool-use タスクを含み、協調的な指の動きを要求する。

2. 先行研究と比べてどこがすごい?

従来、大規模 dexterous grasp データセットは grasp 生成や pick-and-place に主に限定されてきた。 - 本研究は、そうしたデータが articulated tool use における functional dexterity の支援にも使えることを示す点が新しい。 - 具体的には、grasp データを low-level controller の pretraining に用いることで、end-to-end diffusion policy ベースラインや、ゼロから学習した hierarchical policy を上回る。 - 実世界では DP3 に対して full-task success を 33.3 percentage points 改善。 - 要旨からは、他の先行研究との詳細な比較条件や限界は不明。

3. 技術・手法の肝は?

階層的な imitation learning フレームワークが肝。 - high-level では hand sub-goal を予測する。 - low-level では goal-conditioned controller が動作を生成する。 - 大規模 dexterous grasp アノテーションから 355k-trajectory の grasp-pretraining データセットを構築し、low-level controller を pretraining。 - その後、下流タスクのデモンストレーションで fine-tuning する。 - これにより、grasp データを contact-rich dexterous manipulation のスケーラブルな pretraining データとして利用する。

4. どうやって有効だと検証した?

simulation と real-world の両方で実験。 - simulation では DexCraft ベンチマークを使用。6 つの articulated tool-use タスクで、協調的な指の動きが必要。 - 比較対象は end-to-end diffusion policy ベースラインと、ゼロから学習した hierarchical policy。 - 提案手法はこれらを上回った。 - 実世界では DP3 と比較して full-task success を 33.3 percentage points 改善。 - 詳細な評価指標や統計的有意性は要旨からは不明。

5. 議論はある?

要旨からは、議論や限界についての明示的な記述は不明。 - 主張としては、grasp データセットが grasp synthesis の資源だけでなく、contact-rich dexterous manipulation のスケーラブルな pretraining データになり得ることを示す。 - 実世界で DP3 を 33.3 percentage points 上回るなど有効性を示す一方、どのようなタスクや条件で汎化するか、失敗事例や計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として DP3 が挙げられる。 - また、end-to-end diffusion policy ベースライン、hierarchical policy、large-scale dexterous grasp datasets に関連する研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。 - 同分野の定番としては、dexterous manipulation、hierarchical imitation learning、diffusion policy、grasp synthesis に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ying Yuan, Xinyu Liu, Sriram Krishna, David Held

分類: cs.RO

原文アブストラクト

Large-scale dexterous grasp datasets encode rich priors over hand-object interaction, but their use has largely been confined to grasp generation and pick-and-place manipulation. We study whether such data can instead support functional dexterity in articulated tool use, where a robot must acquire a tool, maintain contact, and operate its functional moving parts. We adapt a hierarchical imitation learning framework that combines high-level hand sub-goal prediction with a low-level goal-conditioned controller. We construct a 355k-trajectory grasp-pretraining dataset from large-scale dexterous grasp annotations and use it to pretrain the low-level controller. The controller is then fine-tuned on downstream task demonstrations. To evaluate this setting, we introduce DexCraft, a simulation benchmark with six articulated tool-use tasks requiring coordinated finger motion. Across simulation and real-world experiments, our approach outperforms end-to-end diffusion policy baselines and hierarchical policies trained from scratch. In the real world, it improves full-task success by 33.3 percentage points over DP3. These results show that grasp datasets can serve not only as resources for grasp synthesis, but also as scalable pretraining data for contact-rich dexterous manipulation. Videos are shown on https://yingyuan0414.github.io/grasp2dexterity/ .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI