日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

器用操作/強化学習arXiv:2603.15789

多様なリセットと大規模強化学習による創発的な器用さ

Emergent Dexterity via Diverse Resets and Large-Scale Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

シミュレータのリセットを多様化して強化学習に様々なロボットと物体の相互作用を経験させることで、単一の報酬関数と固定ハイパーパラメータで長時間の器用な操作タスクを解くフレームワークOmniResetを提案した。

詳しい要約

1. どんなもの?

- 大規模並列物理シミュレーションでの強化学習(RL)によるdexterous manipulationのフレームワーク「OmniReset」を提案。 - 単一のreward function、固定hyperparameters、curriculaなし、human demonstrationsなしで、幅広い接触の多いタスクを解く。 - シミュレータのresetを活用し、多様なrobot-object interactionを体系的にRLへ提示する。 - 追加computeをbehavioral coverageの拡大と性能向上に直接変換できる。 - 学習したpolicyをvisuomotor policyへdistillし、real worldへzero-shot転移する。

2. 先行研究と比べてどこがすごい?

- 従来はtask-specificなreward設計、curricula、demonstrationsなど大量のper-task engineeringに依存し、brittleだった。 - 既存手法はlong-horizonでcontact-richなmanipulationに失敗しやすく、同じstate spaceを再訪するためcomputeを増やしても性能が飽和する。 - OmniResetは単一reward・固定hyperparameters・curriculaなし・demonstrationsなしで広範なタスクを解く。 - 追加computeがbehavioral coverageと性能向上に直結し、既存手法の能力を超えるlong-horizonタスクへscalableに適用できる。 - baselineより広い初期条件範囲でrobustなpolicyを学習できる。

3. 技術・手法の肝は?

- 鍵となる着想は、simulator resetsを用いてdexterous manipulationの基盤となる多様なrobot-object interactionへRLを体系的に晒すこと。 - OmniResetは最小限のhuman inputでそのようなresetsをprogrammaticallyに生成する。 - on-policy reinforcement learningを前提とし、単一reward functionと固定algorithm hyperparametersで動作する。 - curriculaやhuman demonstrationsを必要としない。 - 追加computeを多様なbehavioral coverageへ変換し、継続的な性能向上を狙う。

4. どうやって有効だと検証した?

- OmniResetがlong-horizon dexterous manipulationタスクへgracefullyにscaleし、既存手法の能力を超えることを示した。 - baselineより significantly widerな初期条件範囲でrobustなpolicyを学習できることを示した。 - OmniResetをvisuomotor policyへdistillし、robustなretrying behaviorを示すことを確認した。 - real worldへzero-shot転移した際、baselineよりsubstantially higherなsuccess ratesを示した。 - 詳細な実験設定・タスク数・評価指標は要旨からは不明。

5. 議論はある?

- 追加computeがbehavioral coverageと性能向上に直接つながる点を主張している。 - 既存手法の性能飽和やlong-horizon・contact-richタスクでの失敗を課題として挙げている。 - 一方で、sim-to-real gap、reset生成の限界、実世界での安全性、計算コストの詳細な議論は要旨からは不明。 - 単一rewardで広範なタスクを扱える理由や限界についての考察は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究名は明示されていない。 - 関連手法として、massively parallel physics simulationを用いたsim-to-real robot learning、on-policy reinforcement learning、curricula、human demonstrations、visuomotor policy distillationが挙げられる。 - 同分野の定番として、domain randomization、teacher-student distillation、大規模並列RL(例: Isaac Gym系)を次に読む候補として一般名で挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Patrick Yin, Tyler Westenbroek, Zhengyu Zhang, Joshua Tran, Ignacio Dagnino, Eeshani Shilamkar, Numfor Mbiziwo-Tiapo, Simran Bagaria, Xinlei Liu, Galen Mullins, Andrey Kolobov, Abhishek Gupta

分類: cs.RO

原文アブストラクト

Reinforcement learning in massively parallel physics simulations has driven major progress in sim-to-real robot learning. However, current approaches remain brittle and task-specific, relying on extensive per-task engineering to design rewards, curricula, and demonstrations. Even with this engineering, they often fail on long-horizon, contact-rich manipulation tasks and do not meaningfully scale with compute, as performance quickly saturates when training revisits the same narrow regions of state space. We introduce OmniReset, a simple and scalable framework that enables on-policy reinforcement learning to robustly solve a broad class of dexterous manipulation tasks using a single reward function, fixed algorithm hyperparameters, no curricula, and no human demonstrations. Our key insight is that long-horizon exploration can be dramatically simplified by using simulator resets to systematically expose the RL algorithm to the diverse set of robot-object interactions which underlie dexterous manipulation. OmniReset programmatically generates such resets with minimal human input, converting additional compute directly into broader behavioral coverage and continued performance gains. We show that OmniReset gracefully scales to long-horizon dexterous manipulation tasks beyond the capabilities of existing approaches and is able to learn robust policies over significantly wider ranges of initial conditions than baselines. Finally, we distill OmniReset into visuomotor policies which display robust retrying behavior and substantially higher success rates than baselines when transferred to the real world zero-shot. Project webpage: https://weirdlabuw.github.io/omnireset/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI