日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2509.18648

SPiDR: 悲観的ドメインランダム化によるsim-to-real転移のゼロショット安全性

SPiDR: A Simple Approach for Zero-Shot Safety in Sim-to-Real Transfer

シェア:XThreadsFacebookLINEはてブBluesky

ドメインランダム化に悲観性を導入し、sim-to-realギャップ下でも安全制約を保証するスケーラブルな安全強化学習手法を提案し、実機ロボットで有効性を示した。

詳しい要約

1. どんなもの?

- 強化学習(RL)を実世界に安全に展開するための手法 - シミュレータで学習したpolicyがsim-to-real gapに直面する問題を扱う - SPiDR(Sim-to-real via Pessimistic Domain Randomization)と名付けたアルゴリズム - domain randomizationを用いてsim-to-real gapの不確実性を安全制約に組み込む - スケーラブルかつ安全なsim-to-real transferの保証を目指す

2. 先行研究と比べてどこがすごい?

- robust safe RLは証明可能な安全性を持つがスケールしにくい - domain randomizationは実用的だが不安全な挙動を起こしやすい - SPiDRは両者のギャップを埋める位置づけ - スケーラブルでありながら安全なsim-to-real transferの証明可能な保証を提供 - 既存のtraining pipelineと高い互換性を持つ点が特徴

3. 技術・手法の肝は?

- domain randomizationを利用してsim-to-real gapに関する不確実性を扱う - その不確実性を安全制約(safety constraints)に組み込む(pessimisticな定式化) - これにより汎用性が高く既存のtraining pipelineに適合しやすい設計 - 詳細なアルゴリズム構成は要旨からは不明

4. どうやって有効だと検証した?

- sim-to-simベンチマークでの広範な実験 - 2つの異なる実世界ロボットプラットフォームでの実験 - sim-to-real gapがある状況でも安全性を確保できることを示す - 性能(performance)も強く維持できることを示す

5. 議論はある?

- robust safe RLのスケール困難性とdomain randomizationの不安全傾向のトレードオフが背景 - SPiDRが安全性と性能を両立することを主張 - 具体的な限界や失敗ケース、理論保証の詳細は要旨からは不明

6. 次に読むべき論文は?

- robust safe RL(証明可能な安全性を持つ手法) - domain randomization(標準的なsim-to-real転移手法) - safe RLにおけるconstrained MDP/安全制約の定式化 - sim-to-real transferに関するベンチマーク研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yarden As, Chengrui Qu, Benjamin Unger, Dongho Kang, Max van der Hart, Laixi Shi, Stelian Coros, Adam Wierman, Andreas Krause

分類: cs.RO, cs.AI

原文アブストラクト

Deploying reinforcement learning (RL) safely in the real world is challenging, as policies trained in simulators must face the inevitable sim-to-real gap. Robust safe RL techniques are provably safe, however difficult to scale, while domain randomization is more practical yet prone to unsafe behaviors. We address this gap by proposing SPiDR, short for Sim-to-real via Pessimistic Domain Randomization -- a scalable algorithm with provable guarantees for safe sim-to-real transfer. SPiDR uses domain randomization to incorporate the uncertainty about the sim-to-real gap into the safety constraints, making it versatile and highly compatible with existing training pipelines. Through extensive experiments on sim-to-sim benchmarks and two distinct real-world robotic platforms, we demonstrate that SPiDR effectively ensures safety despite the sim-to-real gap while maintaining strong performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI