日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2507.06111

不確実性を考慮した分布外検出と方策適応による安全なドメインランダム化

Safe Domain Randomization via Uncertainty-Aware Out-of-Distribution Detection and Policy Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

実環境での直接試行なしに、criticアンサンブルで不確実性を推定し分布外状態を検出しながら段階的に環境をランダム化することで、安全にRL方策を適応させるフレームワークUARLを提案した。

詳しい要約

1. どんなもの?

- 実世界への RL policy 展開を安全に行うための枠組み UARL (Uncertainty-Aware RL) を提案 - 目的は distribution shift・安全性・policy refinement 時の直接相互作用の非現実性への対処 - target domain と直接相互作用せずに OOD detection と policy adaptation を行う - ensemble of critics で policy uncertainty を定量化し、progressive environmental randomization を組み合わせる - 高 uncertainty 領域を反復的に精緻化し、target domain への頑健な汎化を狙う

2. 先行研究と比べてどこがすごい?

- 既存の domain randomization (DR) や off-dynamics RL は target domain との直接相互作用で頑健性を高めるが、本質的に不安全 - UARL は target domain での直接相互作用を必要とせず、訓練中の安全性を優先 - ensemble of critics による uncertainty 定量化と OOD detection を安全な policy adaptation に結びつける点が特徴 - 要旨からは不明: 具体的な baseline 名や先行研究との定量的比較の詳細

3. 技術・手法の肝は?

- ensemble of critics を用いて policy uncertainty を推定 - その uncertainty を OOD detection に利用 - progressive environmental randomization で多様な実世界条件に備える - simulated environments 内で state space の高 uncertainty 領域を反復的に精緻化 - target domain で明示的に訓練せずに頑健な汎化を目指す枠組み

4. どうやって有効だと検証した?

- MuJoCo benchmarks で評価 - quadrupedal robot でも評価 - 信頼できる OOD detection、性能改善、sample efficiency 向上を baselines と比較して示すと主張 - 要旨からは不明: 具体的な指標・実験設定・baseline の詳細

5. 議論はある?

- target domain との直接相互作用を避ける安全性重視の設計が議論の中心 - uncertainty に基づく OOD detection と progressive randomization の組み合わせの有効性が焦点 - 要旨からは不明: 限界、失敗事例、計算コスト、実機展開時の詳細な議論

6. 次に読むべき論文は?

- domain randomization (DR) - off-dynamics RL - ensemble of critics を用いた uncertainty estimation 関連研究 - OOD detection を用いた安全な RL 関連研究 - 要旨からは不明: 具体的に参照・比較された個別論文名

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mohamad H. Danesh, Maxime Wabartha, Stanley Wu, Joelle Pineau, Hsiu-Chin Lin

分類: cs.LG, cs.RO

原文アブストラクト

Deploying reinforcement learning (RL) policies in real-world involves significant challenges, including distribution shifts, safety concerns, and the impracticality of direct interactions during policy refinement. Existing methods, such as domain randomization (DR) and off-dynamics RL, enhance policy robustness by direct interaction with the target domain, an inherently unsafe practice. We propose Uncertainty-Aware RL (UARL), a novel framework that prioritizes safety during training by addressing Out-Of-Distribution (OOD) detection and policy adaptation without requiring direct interactions in target domain. UARL employs an ensemble of critics to quantify policy uncertainty and incorporates progressive environmental randomization to prepare the policy for diverse real-world conditions. By iteratively refining over high-uncertainty regions of the state space in simulated environments, UARL enhances robust generalization to the target domain without explicitly training on it. We evaluate UARL on MuJoCo benchmarks and a quadrupedal robot, demonstrating its effectiveness in reliable OOD detection, improved performance, and enhanced sample efficiency compared to baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI