線形混合分布ロバストマルコフ決定過程

- 実世界の意思決定で生じる off-dynamics 問題（source domain で学習し遷移の異なる target domain に展開）に対処するための新しい枠組み。 - 従来の DRMDP は遷移カーネル周辺のボールとして uncertainty set を定義するが、本論文は nominal dynamics を linear mixture model と仮定し、混合重みパラメータ周辺のボールとして uncertainty set を定義する linear mixture DRMDP を提案。 - 混合モデルに関する事前知識がある場合に、より精緻な不確実性表現を与える枠組み。

- 既存の uncertainty set は nominal kernel を中心とするボールとして直接定義されるのに対し、本手法は mixture weighting parameter 周辺のボールとして定義する点が新しい。 - $(s,a)$-rectangularity や $d$-rectangularity に基づく従来モデルと比べ、mixture model の事前知識がある場合により refined な不確実性表現を提供できると示す。 - 一般の $f$-divergence で定義される uncertainty set に対応する meta algorithm を提示し、統計的学習可能性の理論的基盤を与える点が貢献。

- nominal dynamics を linear mixture model として表現し、uncertainty set を mixture weighting parameter 周辺のボールとして定義する linear mixture DRMDP を定式化。 - 一般の $f$-divergence で定義される uncertainty set に対する robust policy learning の meta algorithm を提案。 - total variation、Kullback-Leibler、$\chi^2$ divergence の3つの divergence metric インスタンス化について sample complexity を解析。

- 理論解析により、total variation、Kullback-Leibler、$\chi^2$ divergence の各インスタンスで sample complexity を導出。 - これらの結果を通じて linear mixture DRMDP の statistical learnability を確立。 - 実験的検証については要旨からは不明。

- linear mixture DRMDP が $(s,a)$-rectangularity や $d$-rectangularity に基づく従来モデルより refined な不確実性表現を与えることを議論。 - 3つの divergence での sample complexity 解析により統計的学習可能性を示し、今後の研究の理論的基礎を提供。 - 限界や実用上の課題については要旨からは不明。

- $(s,a)$-rectangularity に基づく DRMDP - $d$-rectangularity に基づく DRMDP - linear mixture model を用いた既存の強化学習研究 - $f$-divergence に基づく distributionally robust optimization の関連研究