日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全制御arXiv:2505.00779

不確実性を考慮した潜在安全フィルタ:分布外の危険を回避する

Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルの認識的不確実性を活用し、未知の危険を事前に検知して安全な行動を提案する潜在安全フィルタを提案。

詳しい要約

1. どんなもの?

- 高次元センサ観測から直接動作するロボット向けの、不確実性を考慮した latent safety filter を提案する研究。 - generative world model 上に構築した安全制御(HJ reachability など)が、訓練時に網羅できなかった未知の危険や OOD 状況を安全と誤判定する問題に対処する。 - world model の epistemic uncertainty を未知の危険の代理指標として用い、既知・未知の失敗の両方を回避する。

2. 先行研究と比べてどこがすごい?

- 従来の latent safety filter は world model の訓練カバレッジ不足により、新規の危険を見逃したり既知の危険すら防げないことがある。 - 特に OOD 状況を過信して安全と誤分類する点が課題であった。 - 本研究は epistemic uncertainty を明示的に扱い、既知だけでなく未見の失敗も事前に回避する点が新しい。

3. 技術・手法の肝は?

- world model の epistemic uncertainty を未見の潜在的危険の代理指標として利用する。 - conformal prediction により uncertainty threshold を校正し、OOD な world model 予測を検出する原理的な手法を提案。 - latent representation と epistemic uncertainty の両方を含む拡張状態空間で reachability analysis を行い、latent safety filter を合成する。 - これにより任意の policy を既知・未知の安全危険から守る。

4. どうやって有効だと検証した?

- シミュレーションおよびハードウェア実験で検証。 - Franka manipulator を用いた vision-based control タスクで評価。 - uncertainty-aware safety filter が潜在的な不安全シナリオを事前に検出し、安全で in-distribution な動作を信頼性高く提案することを示した。

5. 議論はある?

- 要旨からは不明。 - ただし world model 訓練時の全安全クリティカルシナリオの網羅が困難であることが動機として述べられている。 - conformal prediction による threshold 校正や拡張状態空間での reachability の計算負荷・スケーラビリティについては要旨からは不明。

6. 次に読むべき論文は?

- Hamilton-Jacobi (HJ) reachability に関する研究。 - generative world model を用いた latent safety filter の先行研究。 - conformal prediction を用いた OOD 検出・不確実性校正の関連研究。 - epistemic uncertainty を利用した安全制御や reachability の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junwon Seo, Kensuke Nakamura, Andrea Bajcsy

分類: cs.RO, cs.LG, cs.SY, eess.SY

原文アブストラクト

Recent advances in generative world models have enabled classical safe control methods, such as Hamilton-Jacobi (HJ) reachability, to generalize to complex robotic systems operating directly from high-dimensional sensor observations. However, obtaining comprehensive coverage of all safety-critical scenarios during world model training is extremely challenging. As a result, latent safety filters built on top of these models may miss novel hazards and even fail to prevent known ones, overconfidently misclassifying risky out-of-distribution (OOD) situations as safe. To address this, we introduce an uncertainty-aware latent safety filter that proactively steers robots away from both known and unseen failures. Our key idea is to use the world model's epistemic uncertainty as a proxy for identifying unseen potential hazards. We propose a principled method to detect OOD world model predictions by calibrating an uncertainty threshold via conformal prediction. By performing reachability analysis in an augmented state space-spanning both the latent representation and the epistemic uncertainty-we synthesize a latent safety filter that can reliably safeguard arbitrary policies from both known and unseen safety hazards. In simulation and hardware experiments on vision-based control tasks with a Franka manipulator, we show that our uncertainty-aware safety filter preemptively detects potential unsafe scenarios and reliably proposes safe, in-distribution actions. Video results can be found on the project website at https://cmu-intentlab.github.io/UNISafe

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI