日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2511.00112

実環境で教え学ぶ強化学習フレームワークReal-DRL

Real-DRL: Teach and Learn in Reality

シェア:XThreadsFacebookLINEはてブBluesky

物理モデルベースの教師役とDRLエージェントを組み合わせ、実機での安全な強化学習を実現するフレームワークを提案し、四足歩行ロボットなどで検証した。

詳しい要約

1. どんなもの?

- 安全が重要な自律システム向けの Real-DRL フレームワークを提案 - 実プラント(real plants)上で DRL agent の実行時学習(runtime learning)を行い、安全を優先しつつ高性能な行動方策を獲得 - 3つの相互作用的構成要素から成る - DRL-Student: DRL agent。dual self-learning と teaching-to-learn のパラダイム、real-time safety-informed batch sampling を導入 - PHY-Teacher: 物理モデルベースの行動方策設計。安全-critical な機能に特化 - Trigger: DRL-Student と PHY-Teacher の相互作用を管理 - 未知の未知(unknown unknowns)と Sim2Real gap に起因する安全課題に対処 - 特徴: assured safety、automatic hierarchy learning(安全優先学習→高性能学習)、safety-inform…

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 従来の DRL が抱える unknown unknowns と Sim2Real gap に起因する安全課題への対処を狙う点を新規性として主張 - PHY-Teacher の新規性として、real-time patch による2つの役割を挙げる - DRL-Student の teaching-to-learn パラダイムを促進 - 実プラントの安全をバックアップ - 安全優先学習→高性能学習という automatic hierarchy learning を特徴とする - corner cases による学習経験の不均衡に対し safety-informed batch sampling で対処

3. 技術・手法の肝は?

- 3構成要素の相互作用が肝 - DRL-Student: dual self-learning と teaching-to-learn のパラダイム、real-time safety-informed batch sampling - PHY-Teacher: 物理モデルベースで安全-critical 機能に特化した行動方策設計。real-time patch で teaching-to-learn を促進し実プラント安全をバックアップ - Trigger: DRL-Student と PHY-Teacher の相互作用を管理 - これらにより unknown unknowns と Sim2Real gap 由来の安全課題に対処 - automatic hierarchy learning で安全優先の学習の後に高性能学習を進める - safety-informed batch sampling で corner cases による学習経験の不均衡を緩和

4. どうやって有効だと検証した?

- 実機の quadruped robot での実験 - NVIDIA Isaac Gym 上の quadruped robot での実験 - cart-pole system での実験 - 比較(comparisons)と ablation studies を実施 - これらの実験により Real-DRL の有効性と独自特徴を示したと主張 - 具体的な評価指標や結果数値は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点として unknown unknowns と Sim2Real gap への対処、assured safety の範囲、PHY-Teacher への依存度が考えられるが、要旨に明示的な議論の記載はない

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究の明示はない - 関連手法として DRL、Sim2Real、physics-model-based control、safe reinforcement learning の定番研究を挙げる - 実験環境に関連する NVIDIA Isaac Gym を用いた quadruped robot の locomotion 研究 - cart-pole system を用いた安全制御・RL 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanbing Mao, Yihao Cai, Lui Sha

分類: cs.RO, cs.AI

原文アブストラクト

This paper introduces the Real-DRL framework for safety-critical autonomous systems, enabling runtime learning of a deep reinforcement learning (DRL) agent to develop safe and high-performance action policies in real plants (i.e., real physical systems to be controlled), while prioritizing safety! The Real-DRL consists of three interactive components: a DRL-Student, a PHY-Teacher, and a Trigger. The DRL-Student is a DRL agent that innovates in the dual self-learning and teaching-to-learn paradigm and the real-time safety-informed batch sampling. On the other hand, PHY-Teacher is a physics-model-based design of action policies that focuses solely on safety-critical functions. PHY-Teacher is novel in its real-time patch for two key missions: i) fostering the teaching-to-learn paradigm for DRL-Student and ii) backing up the safety of real plants. The Trigger manages the interaction between the DRL-Student and the PHY-Teacher. Powered by the three interactive components, the Real-DRL can effectively address safety challenges that arise from the unknown unknowns and the Sim2Real gap. Additionally, Real-DRL notably features i) assured safety, ii) automatic hierarchy learning (i.e., safety-first learning and then high-performance learning), and iii) safety-informed batch sampling to address the learning experience imbalance caused by corner cases. Experiments with a real quadruped robot, a quadruped robot in NVIDIA Isaac Gym, and a cart-pole system, along with comparisons and ablation studies, demonstrate the Real-DRL's effectiveness and unique features.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI