日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2609.22919

強化学習における計算効率の良い安全な探索

Computationally efficient safe exploration in reinforcement learning

シェア:XThreadsFacebookLINEはてブBluesky

ガウス過程より軽量なNadaraya-Watson推定量を用いて、制約付きMDPを安全に探索・最適化するアルゴリズムCoLSafe-MDPを提案し、グリッド環境と火星地形データで評価した。

詳しい要約

1. どんなもの?

- 強化学習の実応用では探索中の安全性保証が必要。 - 既存手法はGaussian processes (GPs) に依存し計算コスト大。 - 提案手法CoLSafe-MDPはNadaraya-Watson estimatorに基づく軽量アルゴリズム。 - 制約付きMarkov decision processes (MDPs) を安全に探索・最適化する。

2. 先行研究と比べてどこがすごい?

- GPベースの手法はデータ点数に対して3乗の計算量。 - 提案手法は定数時間スケーリングで推定値の境界を提供。 - 計算効率が大幅に改善され、安全性保証も維持。

3. 技術・手法の肝は?

- Nadaraya-Watson estimatorを利用。 - 推定値に境界を設け、安全な探索を実現。 - 計算量がデータ点数に依存せず定数時間。 - 制約付きMDPの枠組みで動作。

4. どうやって有効だと検証した?

- グリッドベース環境で性能評価。 - 観測された火星地形データ(observational Martian terrain data)でも評価。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている具体的な論文は不明。 - 関連手法としてGaussian processes (GPs) ベースの安全強化学習、Nadaraya-Watson estimator、制約付きMDPの定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shreeram Murali, Shankar A. Deka, Dominik Baumann

分類: cs.LG, cs.RO, eess.SY

原文アブストラクト

Reinforcement learning in real-life applications requires safety guarantees during exploration. Typical reinforcement learning algorithms do not provide such guarantees, and many modifications that do rely on Gaussian processes (GPs), which have a large computational cost. We propose a computationally lightweight algorithm based on the Nadaraya-Watson estimator that safely explores and optimizes constrained Markov decision processes (MDPs). Our algorithm, \textsc{CoLSafe-MDP}, uses an estimator that scales in constant-time with bounds on the estimates, a significant improvement from its GP-based counterparts that scale cubically with the number of data points. We then evaluate its performance in a grid-based environment and on observational Martian terrain data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI