日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2606.27766

RS-Diffuser: リスク感受性拡散プランニングと分布価値ガイダンス

RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance

シェア:XThreadsFacebookLINEはてブBluesky

オフライン強化学習において、リスク中立な拡散プランナーが稀な壊滅的結果を見落とす問題に対し、分布価値クリティックと尾部リスク指標を用いたリスク感受性ガイダンスを導入し、推論時のリスクパラメータ変更だけでリスク回避・中立・追求行動を柔軟に生成できるフレームワークを提案した。

詳しい要約

1. どんなもの?

- オフライン強化学習のためのリスク感受型拡散計画フレームワーク RS-Diffuser を提案。 - 拡散モデルによる軌道生成と分布型価値批評家を組み合わせる。 - 未来状態軌道の拡散プランナー、逆動力学モデル、分位点回帰によるモンテカルロ分布型批評家から構成。 - サンプリング時にリスク感受型ガイダンス信号をデノイジング過程に組み込む。 - 単一モデルで推論時のリスクパラメータ変更のみでリスク回避・中立・追求行動を生成可能。

2. 先行研究と比べてどこがすごい?

- 既存の拡散プランナーはリスク中立であり、稀だが壊滅的な結果を見落とす可能性があった。 - RS-Diffuser はリスク感受型で、最悪ケースの堅牢性を向上。 - リスク感受型 D4RL と危険なロボットナビゲーションベンチマークで最先端性能を達成。 - 全体的なリターンと最悪ケースの堅牢性を改善し、安全違反を削減。

3. 技術・手法の肝は?

- 未来状態軌道に対する拡散プランナーを学習。 - 別途逆動力学モデルで行動をデコード。 - モンテカルロ分布型批評家が分位点回帰により候補計画のリターン分布全体を推定。 - サンプリング時に Conditional Value at Risk などのテール考慮目的関数から計算した勾配を用い、リスク感受型ガイダンス信号をデノイジング過程に注入。 - 推論時のリスクパラメータ変更のみで所望のリスクプロファイルに誘導。

4. どうやって有効だと検証した?

- リスク感受型 D4RL ベンチマークで評価。 - 危険なロボットナビゲーションベンチマークで評価。 - 最先端性能を達成し、全体的なリターンと最悪ケースの堅牢性を改善。 - 安全違反を削減することを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Diffuser、Decision Diffuser、Diffusion-QL などの拡散ベースのオフライン RL 手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shiqiang Gong

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Offline reinforcement learning enables policy learning from fixed datasets without additional environment interaction, making it appealing for safety-critical applications where online exploration is costly or unsafe. Diffusion-based decision-making methods have recently achieved strong performance in offline RL by modeling rich, multimodal trajectory distributions. However, existing diffusion planners are typically risk-neutral and therefore may overlook rare but catastrophic outcomes that are crucial in real-world deployment. In this work, we propose RS-Diffuser, a risk-sensitive offline diffusion planning framework that combines diffusion-based trajectory generation with distributional value critics. RS-Diffuser learns a diffusion planner over future state trajectories, a separate inverse dynamics model for action decoding, and a Monte Carlo distributional critic that estimates the full return distribution of candidate plans through quantile regression. At sampling time, we incorporate a risk-sensitive guidance signal into the denoising process, using gradients computed from tail-aware objectives such as Conditional Value at Risk to steer generation toward desired risk profiles. As a result, a single trained model can flexibly produce risk-averse, risk-neutral, or risk-seeking behaviors by changing only the inference-time risk parameter. Extensive experiments on risk-sensitive D4RL and risky robot navigation benchmarks demonstrate that RS-Diffuser achieves state-of-the-art performance, improving both overall return and worst-case robustness while reducing safety violations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI