ReFORM: ノイズ操作によるサポート上オフライン強化学習のための反射フロー

- オフライン強化学習（offline RL）の手法である ReFORM を提案。 - 固定データセットから最適方策を学習する際、out-of-distribution (OOD) エラーと多峰性方策の表現が課題。 - flow policy をベースに、support constraint を構造的に強制する。 - 行動クローニング（BC）flow policy を学習し、その support を保ちつつ reflected flow で bounded noise を生成して性能を最大化。 - OGBench の40タスクで、ハイパーパラメータを固定してもベースラインを上回る性能を示す。

- 従来手法は統計的距離ペナルティで方策を行動方策に近づけるが、方策改善を制約し OOD 行動を完全には防げない。 - 拡散モデルや flow 方策は表現力が高いが、OOD エラー回避と表現力の両立が不明確。 - ReFORM は support constraint を構造的に強制し、より制約の少ない形で OOD を回避。 - 全タスクで同一ハイパーパラメータを使用し、ベースラインは手動調整済みであるにもかかわらず、性能プロファイル曲線で優位。

- BC flow policy を学習し、bounded source distribution で行動分布の support を捉える。 - その BC flow に対して bounded noise を生成する reflected flow を最適化。 - reflected flow は support を維持しながら性能を最大化するように学習。 - これにより、OOD 行動を生成せずに方策改善を可能にする。 - 具体的なネットワーク構造や学習アルゴリズムの詳細は要旨からは不明。

- OGBench ベンチマークの40の挑戦的タスクで評価。 - データセットの品質が異なる複数の設定で検証。 - 全タスクで一定のハイパーパラメータを使用。 - 性能プロファイル曲線において、手動でハイパーパラメータを調整したベースラインを上回る。 - 具体的なベースライン名や評価指標の詳細は要旨からは不明。

- 従来の統計的距離ペナルティの限界を指摘。 - 拡散・flow 方策の表現力と OOD 回避の両立が課題であると議論。 - ReFORM は support constraint を構造的に強制することでこの課題に対処。 - 制約の厳しさや理論的保証、計算コストなどに関する議論は要旨からは不明。

- 要旨で参照されている具体的な論文名は不明。 - 関連手法として、offline RL における統計的距離ペナルティを用いる手法（例: CQL, TD3+BC）、拡散モデルベースの方策（Diffusion-QL）、flow ベースの方策（Flow RL）などが挙げられる。 - ベンチマークである OGBench の原論文も次に読むべき候補。