潜在世界モデルの閉ループ性能予測：非マルコフ報酬下でのMPCとモデルベースRLのためのオフライン・チェックポイント選択

本研究は、学習された潜在世界モデル（latent world model）の下流の閉ループ性能を、検証時の診断指標のみから予測する問題を扱う。GymnasiumのLunarLander v3環境（shaped rewardsを持つ）でRSSM世界モデルを訓練し、各チェックポイントのCEM-MPCリターンを閉ループ品質のオラクルとして、40の指標を評価する。その結果、最強の単一予測指標はReward Observability Fraction (ROF)であり、これは報酬予測器の可観測部分空間への依存度を測る。ROFと3つの構造的正則化指標を組み合わせた単一数値のオフライン・チェックポイント選択スコア、Composite Reward Observability Fraction (CROF)を提案する。

従来の世界モデルのチェックポイント選択は、検証損失や多段階予測RMSEに頼ることが多いが、これらは閉ループ性能が低下した後も改善し続けるため、適切な選択が困難である。本研究は、最適制御理論に基づく構造的診断指標を導入し、閉ループ性能の予測に有効な指標を体系的に評価した点が新しい。特に、報酬予測の可観測性に着目したROFが最強の予測因子であることを示し、それを用いたCROFスコアが実用的なチェックポイント選択を可能にする。

手法の核は、検証時の診断指標の設計と組み合わせにある。具体的には、最適制御理論から着想を得た構造的診断指標群を定義し、各チェックポイントで計算する。その中で、報酬予測器が潜在状態の可観測部分空間にどれだけ依存しているかを測るROFを導入する。さらに、ROFと3つの構造的正則化指標（具体的な内容は要旨からは不明）を組み合わせて、単一数値のCROFスコアを構成する。このスコアを用いて、訓練中のチェックポイントをオフラインで選択する。

LunarLander v3環境でRSSM世界モデルを訓練し、各チェックポイントのCEM-MPCリターンをオラクルとして、40の指標との相関を評価した。その結果、ROFが最強の単一予測因子であることを確認した。さらに、CROFスコアで選択した世界モデルを用いて、model-based A2Cポリシーを訓練し、公平に評価されたmodel-free A2Cベースラインと比較して約24.5リターンポイント上回り、実環境とのインタラクションは約65倍少ないことを示した。また、同じ世界モデルがゼロショットのCEM-MPCポリシーでも強い性能を発揮することを示した。

要旨からは、提案手法がLunarLander v3という単一環境でのみ検証されている点が議論の余地として挙げられる。また、ROFやCROFの理論的な裏付けや、他の環境や報酬形状（sparse rewardsなど）での汎用性については不明である。さらに、CROFの構成要素である3つの構造的正則化指標の具体的な役割や、それらがROFとどのように相互作用するかについての詳細な分析は要旨には含まれていない。

要旨で参照されているRSSMの元論文（[5, 4]）や、関連する世界モデル研究（例: Dreamer, PlaNet）を読むことが推奨される。また、モデルベース強化学習とモデルフリー強化学習の比較に関する研究、およびCEM-MPCなどの計画手法に関する論文が関連する。具体的には、要旨で引用されている文献番号[5]と[4]に対応する論文が次に読むべきである。