マニピュレーション2026/9/30arXiv:2610.00360

DexPolicy: 軌道誘導型巧みな操作のためのスケジュール探索

DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation

強化学習による巧みな操作において、探索ノイズを訓練ステップに応じて徐々に減衰させるスケジュールを導入し、PPO・GRPO・FPOの3手法で成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- 器用な把持操作のための強化学習(RL)において、探索のスケールを訓練ステップの明示的な関数としてスケジュールする手法「DexPolicy」を提案。 - ViViDexのような軌道誘導設定で、人間の動画から得たhand-object軌道をRLで精緻化する。 - 損失・アーキテクチャ・報酬・最適化設定は固定し、探索スケールのみを広から狭へアニーリングする。 - PPO、critic-free GRPO continuation、flow-parameterized PPO variant (FPO)の3つのpolicy-optimization設定で検討。

2. 先行研究と比べてどこがすごい？

- 先行のViViDexベースラインでは、PPOが5Mステップ後も初期のaction noise付近で終了し、探索スケールの制御が動機となった。 - 探索スケールを訓練ステップの明示的な関数とすることで、固定スケールのベースラインより成功率を改善。 - 5つのYCB物体と3つの訓練シードで、平均deterministic Target successが49.4%→68.1% (FPO)、14.1%→45.4% (GRPO)、32.0%→35.7% (PPO)に向上。 - 実機RealMan RM75アームとInspire/RH56ハンドでも成功率が大幅に向上。

3. 技術・手法の肝は？

- 探索スケールを訓練ステップの明示的な関数とし、広い探索から狭い探索へアニーリングする。 - 損失・アーキテクチャ・報酬・最適化設定は固定し、探索スケールのみを変更する。 - PPO、critic-free GRPO continuation、flow-parameterized PPO variant (FPO)の3設定で検証。 - PPOコンポーネントのスクリーニングでは、テストしたoptimizer contractionよりもnoise controlが優先されることを示す。 - 選択したPPOスケジュールは、同じ端点を持つlinear decayよりも3つのテスト物体で高い平均Target successを示す。

4. どうやって有効だと検証した？

- 5つのYCB物体と3つの訓練シードで、平均deterministic Target successを評価。 - 実機RealMan RM75アームとInspire/RH56ハンドで、3物体・360試行の平均Target successを評価。 - 各物体-手法条件につき1つの訓練モデルを使用。 - PPOコンポーネントのスクリーニングと、linear decayとの比較を実施。 - 訓練リターン、deterministic Target success、実行ノイズへの耐性が乖離することを示す。

5. 議論はある？

- 訓練リターン、deterministic Target success、実行ノイズへの耐性は乖離するため、スケジュールは意図した実行条件下での最終タスク成功率で評価すべき。 - 評価はタスクおよびpolicy-optimization設定ごとに行う必要がある。 - PPOコンポーネントのスクリーニングでは、noise controlがoptimizer contractionより優先される。 - 選択したPPOスケジュールはlinear decayより優れるが、他のスケジュールや設定への一般化は要旨からは不明。

6. 次に読むべき論文は？

- ViViDex (軌道誘導設定のベースライン) - PPO (Proximal Policy Optimization) - GRPO (critic-free GRPO continuation) - FPO (flow-parameterized PPO variant) - YCB objects (評価データセット) - RealMan RM75 arm, Inspire/RH56 hand (実機評価プラットフォーム)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Wang, Siyuan Qian, Yanjun Li, Zeyu Zhang, Yandong Guo, Boxin Shi, Hao Tang

分類: cs.RO, cs.CV

原文アブストラクト

Reinforcement learning (RL) for dexterous manipulation must discover finger-object contacts and then control the object precisely; the action noise that serves the first goal can interfere with the second. In trajectory-guided settings such as ViViDex, where RL refine hand-object trajectories from human video, our baseline PPO runs end near their initial action noise after 5M steps, motivating explicit control of exploration scale. DexPolicy makes that scale an explicit function of training steps, annealing from broad to narrow exploration while holding loss, architecture, reward, and optimizer settings fixed. We study three policy-optimization settings: PPO, critic-free GRPO continuation, and a flow-parameterized PPO variant (FPO). Across five YCB objects and three training seeds, mean deterministic Target success rises from 49.4% to 68.1% (FPO), 14.1% to 45.4% (GRPO), and 32.0% to 35.7% (PPO). On a RealMan RM75 arm with an Inspire/RH56 hand, 360 trials over three objects raise mean Target success from 25.0% to 85.0% (FPO), 10.0% to 63.3% (GRPO), and 8.3% to 43.3% (PPO), with one trained model per object-method condition. PPO component screening favors noise control over the tested optimizer contraction; the selected PPO schedule yields higher mean Target success than linear decay with the same endpoints on three tested objects. Training return, deterministic Target success, and tolerance to execution noise dissociate; schedules should therefore be judged by terminal task success under the intended execution conditions, per task and policy-optimization setting. Code: https://github.com/AIGeeksGroup/DexPolicy. Website: https://aigeeksgroup.github.io/DexPolicy.

arXivで原文を読む →arXiv概要ページ

DexPolicy: 軌道誘導型巧みな操作のためのスケジュール探索

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell