オフライン強化学習における拡散ポリシーのためのノイズ空間ポリシー勾配

本論文は、オフライン強化学習（RL）における拡散ポリシーの学習を目的とし、ノイズ空間での行動価値関数（Q-function）とポリシー勾配法を提案する。拡散ポリシーは表現力が高いが、RLとの統合が難しい。そこで、ノイズ空間の潜在変数に価値を割り当てるQ関数を導入し、クリーンな行動空間の価値推定のみを用いてノイズ潜在変数を最適化するNSPG（Noisy-Space Policy Gradient）を導出する。さらに、KL正則化付きのポリシー改善をノイズ空間で定式化し、拡散互換の回帰形式の目的関数を得る。これにより、デノイジング過程を通じた逆伝播を回避する。

先行研究では、拡散ポリシーをRLに統合する際、デノイジング過程を通じた逆伝播が必要となることが多く、計算コストが高く、勾配の分散が大きい問題があった。本手法は、ノイズ空間での価値関数を導入することで、クリーンな行動空間の価値推定のみでポリシー勾配を計算できるようにし、逆伝播を回避する点が新しい。また、ノイズ空間でのKL正規化により、理論的に明確な意味付けを持つ目的関数を導出し、拡散ポリシーの学習を原理的に行えるようにした点が優れている。

手法の核は、ノイズ空間でのQ関数の定義と、それに基づくポリシー勾配の導出である。具体的には、デノイジング過程によって誘導される実行行動の分布を通じて、拡散潜在変数に価値を割り当てる。このQ関数は意味的に解釈可能であり、クリーンな行動空間の価値推定のみを用いてノイズ潜在変数を最適化するNSPGを導出する。さらに、KL正規化付きのポリシー改善をノイズ空間で行い、その目的関数が拡散互換の回帰形式になることを示す。これにより、デノイジング過程を通じた逆伝播を避け、効率的な学習を実現する。

実験では、状態ベースのD4RLベンチマークと視覚ベースのOGBenchタスクを用いて、提案手法の有効性を検証した。D4RLはオフラインRLの標準的なベンチマークであり、OGBenchは視覚入力のタスクを含む。結果として、提案するノイズ空間の目的関数が、オフラインRLにおける拡散ポリシーの学習に対して原理的かつ効果的な基盤を提供することを示した。具体的な数値結果は要旨に記載されていないが、既存手法と比較して優れた性能を達成したと推測される。

要旨からは、提案手法の限界や議論についての詳細は不明である。ただし、ノイズ空間でのQ関数の定義が理論的に明確である一方、実際の実装における近似誤差や、視覚ベースのタスクでのスケーラビリティなどが議論の対象となる可能性がある。また、オフラインRL特有の分布シフト問題への対処がどの程度有効かも議論の余地がある。しかし、要旨にはこれらの点に関する明示的な議論は含まれていない。

要旨で参照されている研究は明示されていないが、関連する手法として、拡散ポリシーをRLに統合する既存研究（例：Diffusion-QL）や、オフラインRLの標準的なアルゴリズム（例：IQL、CQL）が挙げられる。また、ノイズ空間での価値関数の考え方は、生成モデルとRLの関連研究にも通じる。次に読むべき論文としては、Diffusion-QLや、拡散モデルを用いたポリシー表現の研究、およびオフラインRLのベンチマークであるD4RLに関する論文が適切である。