マニピュレーション2025/9/1arXiv:2509.23829

DexFlyWheel：器用なマニピュレーションのためのスケーラブルで自己改善するデータ生成フレームワーク

DexFlyWheel: A Scalable and Self-improving Data Generation Framework for Dexterous Manipulation

模倣学習と残差強化学習を組み合わせた自己改善サイクルにより、多様な器用マニピュレーションのデータを自動生成し、ポリシー性能を向上させるフレームワークを提案。

詳しい要約

1. どんなもの？

- Dexterous manipulation 向けのスケーラブルなデータ生成フレームワーク DexFlyWheel を提案 - 自己改善サイクルによりデータの多様性を継続的に拡張する仕組み - 少数の seed demonstrations の warmup から開始し、反復サイクルでデータセットを拡大 - 4つの難タスクで2,000以上の多様な demonstrations を生成 - 我々のデータセットで学習した policy は challenge test sets で平均81.9%の成功率 - digital twin を介して実世界に転移し、dual-arm lift タスクで78.3%の成功率

2. 先行研究と比べてどこがすごい？

- 既存手法は human teleoperation 依存、多大な human engineering を要する、または多様性が限定的 - これらはスケーラビリティと汎化を制約していた - DexFlyWheel は自己改善サイクルでデータ多様性を継続的に拡張 - 人手への依存を減らしつつスケール可能なデータ生成を狙う点が差分 - 具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は？

- seed demonstrations の効率的な warmup から開始 - 各サイクルは Imitation Learning (IL)、residual Reinforcement Learning (RL)、rollout trajectory collection、data augmentation の閉ループ - IL が demonstrations から人間らしい振る舞いを抽出 - residual RL が policy の汎化を強化 - 学習済み policy で simulation 上に trajectories を生成 - 多様な環境・空間配置で augmentation し次サイクルへフィードバック - 反復により self-improving data flywheel 効果が生じる

4. どうやって有効だと検証した？

- 4つの難タスクで2,000以上の多様な demonstrations を生成したと報告 - 生成データセットで学習した policy を challenge test sets で評価し平均成功率81.9% - digital twin を介して実世界へ転移し dual-arm lift タスクで78.3%の成功率 - 詳細なベースライン比較や ablation の有無は要旨からは不明

5. 議論はある？

- 自己改善サイクルによるデータ多様性拡張と policy 性能のスケーリングを主張 - simulation 生成データの実世界転移を digital twin 経由で示す - 限界・失敗事例・計算コスト・サイクル収束性などの議論は要旨からは不明 - 4タスク・dual-arm lift 以外への一般性は要旨からは不明

6. 次に読むべき論文は？

- Imitation Learning (IL) と residual Reinforcement Learning (RL) の関連研究 - digital twin を用いた sim-to-real transfer の関連研究 - dexterous manipulation 向けデータ生成・data augmentation の関連研究 - 要旨で参照・比較されている個別研究名は明示されていないため、同分野の定番手法を一般名で挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kefei Zhu, Fengshuo Bai, YuanHao Xiang, Yishuai Cai, Xinglin Chen, Ruochong Li, Xingtao Wang, Hao Dong, Yaodong Yang, Xiaopeng Fan, Yuanpei Chen

分類: cs.RO

原文アブストラクト

Dexterous manipulation is critical for advancing robot capabilities in real-world applications, yet diverse and high-quality datasets remain scarce. Existing data collection methods either rely on human teleoperation or require significant human engineering, or generate data with limited diversity, which restricts their scalability and generalization. In this paper, we introduce DexFlyWheel, a scalable data generation framework that employs a self-improving cycle to continuously enrich data diversity. Starting from efficient seed demonstrations warmup, DexFlyWheel expands the dataset through iterative cycles. Each cycle follows a closed-loop pipeline that integrates Imitation Learning (IL), residual Reinforcement Learning (RL), rollout trajectory collection, and data augmentation. Specifically, IL extracts human-like behaviors from demonstrations, and residual RL enhances policy generalization. The learned policy is then used to generate trajectories in simulation, which are further augmented across diverse environments and spatial configurations before being fed back into the next cycle. Over successive iterations, a self-improving data flywheel effect emerges, producing datasets that cover diverse scenarios and thereby scaling policy performance. Experimental results demonstrate that DexFlyWheel generates over 2,000 diverse demonstrations across four challenging tasks. Policies trained on our dataset achieve an average success rate of 81.9\% on the challenge test sets and successfully transfer to the real world through digital twin, achieving a 78.3\% success rate on dual-arm lift tasks.

arXivで原文を読む →arXiv概要ページ

DexFlyWheel：器用なマニピュレーションのためのスケーラブルで自己改善するデータ生成フレームワーク

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell