マニピュレーション2025/9/1arXiv:2509.19292

SOE: 多様体上探索によるサンプル効率の良いロボット方策の自己改善

SOE: Sample-Efficient Robot Policy Self-Improvement via On-Manifold Exploration

タスクに関連する要因を潜在空間で表現し、有効な行動の多様体上に探索を制約することで、安全かつ効率的にロボット方策を自己改善するフレームワークを提案した。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションのための方策自己改善フレームワーク SOE (Self-Improvement via On-Manifold Exploration) - 方策の探索能力不足（action mode collapse）を解消することを狙う - タスク関連因子のコンパクトな潜在表現を学習し、有効行動のmanifold上に探索を制約 - 任意の方策モデルにplug-inモジュールとして統合可能 - 構造化潜在空間によりhuman-guided explorationも可能 - simulationとreal-worldの両方で評価

2. 先行研究と比べてどこがすごい？

- 既存の探索促進手法はrandom perturbationsに依存 - 不安全で不安定・不規則な挙動を誘発し、効果が限定的という問題 - SOEは探索を有効行動のmanifold上に制約することで安全性・多様性・有効性を同時に確保 - random perturbationベースの手法と比べ安全で滑らかな探索を実現 - 任意の方策にplug-in可能で、base policy性能を劣化させずに探索を拡張できる点が特徴 - 実験でprior methodsを一貫して上回り、成功率・sample efficiencyで優位

3. 技術・手法の肝は？

- タスク関連因子のコンパクトなlatent representationを学習 - その構造化潜在空間上で探索を行う - 探索をmanifold of valid actionsに制約（on-manifold exploration） - 安全性・多様性・有効性を担保 - 任意のpolicy modelにplug-inモジュールとして統合可能な設計 - base policyの性能を劣化させない - 構造化潜在空間を利用したhuman-guided explorationをサポート - 効率とcontrollabilityを向上 - 詳細なアルゴリズム・学習手順は要旨からは不明

4. どうやって有効だと検証した？

- simulationおよびreal-worldタスクの両方でextensive experimentsを実施 - prior methodsと比較し一貫して優位 - 高いtask success rate - 滑らかで安全な探索 - 優れたsample efficiency - 具体的なタスク・ベースライン・指標の詳細は要旨からは不明

5. 議論はある？

- on-manifold explorationをsample-efficientなpolicy self-improvementのprincipleとして位置づけ - random perturbationsの不安全・不安定さという課題を動機として提示 - human-guided explorationによる効率・controllability向上に言及 - 限界・失敗ケース・計算コスト・スケーラビリティに関する議論は要旨からは不明

6. 次に読むべき論文は？

- random perturbationsに基づく探索手法（要旨で比較対象として言及） - action mode collapseに関する研究 - latent representation learningを用いたロボットmanipulation方策 - human-guided exploration / human-in-the-loop policy learning - plug-in型のpolicy improvementモジュールに関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Jin, Jun Lv, Han Xue, Wendi Chen, Chuan Wen, Cewu Lu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Intelligent agents progress by continually refining their capabilities through actively exploring environments. Yet robot policies often lack sufficient exploration capability due to action mode collapse. Existing methods that encourage exploration typically rely on random perturbations, which are unsafe and induce unstable, erratic behaviors, thereby limiting their effectiveness. We propose Self-Improvement via On-Manifold Exploration (SOE), a framework that enhances policy exploration and improvement in robotic manipulation. SOE learns a compact latent representation of task-relevant factors and constrains exploration to the manifold of valid actions, ensuring safety, diversity, and effectiveness. It can be seamlessly integrated with arbitrary policy models as a plug-in module, augmenting exploration without degrading the base policy performance. Moreover, the structured latent space enables human-guided exploration, further improving efficiency and controllability. Extensive experiments in both simulation and real-world tasks demonstrate that SOE consistently outperforms prior methods, achieving higher task success rates, smoother and safer exploration, and superior sample efficiency. These results establish on-manifold exploration as a principled approach to sample-efficient policy self-improvement. Project website: https://ericjin2002.github.io/SOE

arXivで原文を読む →arXiv概要ページ

SOE: 多様体上探索によるサンプル効率の良いロボット方策の自己改善

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell