部分観測モンテカルログラフ探索

- 大規模な partially observable Markov decision process (POMDP) を offline で解くための新しい sampling-based アルゴリズム「partially observable Monte-Carlo graph search (POMCGS)」を提案する論文。 - online 手法のように planning と execution を交互に行うのではなく、事前に policy を計算する offline 解法を目指す。 - 計算した policy を埋め込み・実行前に分析・検証できる点を特徴とする。

- 従来の offline アルゴリズムは大規模 POMDP にスケールできなかったのに対し、POMCGS は最も困難な POMDP でも policy を生成できる。 - 多くの online POMDP 手法が simulation 中に tree を逐次成長させるのに対し、POMCGS は探索 tree を on the fly で折り畳んで policy graph を構築し、計算を大幅に削減する。 - 生成した policy の価値は state-of-the-art の online POMDP アルゴリズムと競争可能であると報告。

- Monte-Carlo simulation で探索 tree を成長させつつ、それを on the fly で折り畳み policy graph を構築する点が肝。 - action progressive widening と observation clustering を組み合わせ、一部の continuous POMDP にも対応できる。 - offline で policy を事前計算するため、時間・エネルギー制約のある応用に適する。

- 実験により、POMCGS が従来の offline アルゴリズムでは計算できなかった最も困難な POMDP 上で policy を生成できることを示した。 - 生成された policy の価値を state-of-the-art の online POMDP アルゴリズムと比較し、競争力があることを確認した。

- 要旨からは不明。 - ただし offline policy を事前に分析・検証できる利点が述べられている。

- 比較対象として言及される state-of-the-art の online POMDP アルゴリズム（具体的名称は要旨からは不明）。 - 関連手法として sampling-based online POMDP 手法、Monte-Carlo simulation を用いる POMDP 解法、action progressive widening、observation clustering が挙げられる。