日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2601.20071

確率的環境のための分布型価値勾配

Distributional value gradients for stochastic environments

シェア:XThreadsFacebookLINEはてブBluesky

確率的環境でも機能するよう、価値関数の分布だけでなくその勾配の分布もモデル化する分布型ソボレフ訓練を提案し、MuJoCoで有効性を示した。

詳しい要約

1. どんなもの?

- 連続状態行動空間における確率的強化学習のための新しい価値学習手法。 - スカラー状態行動価値関数の分布だけでなく、その勾配の分布もモデル化する。 - Distributional Sobolev Training と呼称。 - 条件付き Variational Autoencoder (cVAE) による one-step world model を使用。 - Max-sliced Maximum Mean Discrepancy (MSMMD) で分布 Bellman 作用素を実現。

2. 先行研究と比べてどこがすごい?

- 既存の MAGE などの勾配正則化価値学習は確率的・ノイズ環境で苦戦。 - 本研究は分布強化学習を拡張し、価値関数の勾配の分布も扱うことでこの制限を克服。 - 確率的環境でも適用可能になり、サンプル効率を改善。

3. 技術・手法の肝は?

- 分布強化学習を連続状態行動空間に拡張し、価値関数の勾配分布をモデル化。 - Stochastic Value Gradients (SVG) に着想。 - cVAE で報酬と遷移の分布を実装した one-step world model を利用。 - サンプルベースで MSMMD を用いて分布 Bellman 作用素をインスタンス化。 - Sobolev 拡張 Bellman 作用素が縮小写像で一意の固定点を持つことを証明。 - 勾配を考慮した RL における縮小性の根本的な滑らかさのトレードオフを指摘。

4. どうやって有効だと検証した?

- 簡単な確率的強化学習トイ問題で有効性を実証。 - 複数の MuJoCo 環境で性能をベンチマーク。

5. 議論はある?

- 勾配を考慮した RL における縮小性の根本的な滑らかさのトレードオフを強調。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は?

- MAGE (既存の勾配正則化価値学習手法) - Stochastic Value Gradients (SVG) - Distributional Reinforcement Learning - Conditional Variational Autoencoder (cVAE) - Max-sliced Maximum Mean Discrepancy (MSMMD)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baptiste Debes, Tinne Tuytelaars

分類: cs.LG

原文アブストラクト

Gradient-regularized value learning methods improve sample efficiency by leveraging learned models of transition dynamics and rewards to estimate return gradients. However, existing approaches, such as MAGE, struggle in stochastic or noisy environments, limiting their applicability. In this work, we address these limitations by extending distributional reinforcement learning on continuous state-action spaces to model not only the distribution over scalar state-action value functions but also over their gradients. We refer to this approach as Distributional Sobolev Training. Inspired by Stochastic Value Gradients (SVG), our method utilizes a one-step world model of reward and transition distributions implemented via a conditional Variational Autoencoder (cVAE). The proposed framework is sample-based and employs Max-sliced Maximum Mean Discrepancy (MSMMD) to instantiate the distributional Bellman operator. We prove that the Sobolev-augmented Bellman operator is a contraction with a unique fixed point, and highlight a fundamental smoothness trade-off underlying contraction in gradient-aware RL. To validate our method, we first showcase its effectiveness on a simple stochastic reinforcement learning toy problem, then benchmark its performance on several MuJoCo environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI