オペレータ・オン・Fが価値等価性を補完する：潜在世界モデルの計画時診断

本論文は、model-based reinforcement learning における world model の評価手法を提案する。従来の評価は、学習されたモデルが報酬や価値をどれだけ正確に予測するかに焦点を当てるが、潜在状態のロールアウトにおける計画に関連する誤差を測定できない。そこで、モデルの k-step latent pushforward を環境のそれと、観測可能な部分集合 F 上で比較する診断手法 'operator-on-F' を導入する。

従来の評価指標（reward-prediction error や Bellman residual）は、モデルサイズ間の差を明確に捉えられない。例えば、cheetah-run タスクで TD-MPC2 のサイズを変えたとき、reward-prediction error は [0.028, 0.091] の範囲に収まり、約3倍の変動しかないため、モデルを区別する分解能が低い。また、Bellman residual や reward error と return の相関は弱い（Spearman -0.10 と -0.30）。一方、提案する operator error は同じ条件下で 0.28 から 2.62 まで広がり、モデルサイズ間の差を明確に示す。さらに、operator error と return loss の順位相関は -0.90 と強い。

手法の核心は、モデルの k-step latent pushforward を環境のそれと比較することである。具体的には、観測可能な部分集合 F 上で、モデル自身の予測器を用いて、モデルが生成する潜在状態の遷移と環境の遷移を比較する。これにより、報酬予測には現れない計画に重要な誤差を検出する。

TD-MPC2 のサイズを sweep した cheetah-run タスクで検証した。モデルサイズが 317M のとき、operator error は 2.62 であり、他のサイズ（0.28-0.36）より一桁大きく、計画の return は 0.9 に低下した。一方、reward-prediction error は 0.091 で最大だが、範囲は他のサイズと同程度である。また、operator error と return loss の順位相関は -0.90（anchor-bootstrap 95% CI [-0.90, -0.70]）であり、leave-one-out でも -0.80 以上を維持した。さらに、TD-MPC2 と pure-SSL latent world model の cross-architecture 比較でも、operator はアーキテクチャを判別する有益な推定値を返した。

operator-on-F は value-equivalence を補完するものであり、置き換えるものではないと議論している。要旨からは、operator error が大きい場合に計画性能が低下するという相関関係は示されたが、因果関係や他のタスクでの汎用性については不明である。また、F の選択や k の値が結果に与える影響についての詳細な分析は要旨に含まれていない。

要旨で参照されている関連研究として、TD-MPC2 と pure-SSL latent world model が挙げられる。また、value-equivalence に関する研究や、model-based reinforcement learning における world model の評価手法に関する論文が関連する。具体的には、TD-MPC2 の原著論文や、value-equivalence を提案した論文を読むことが推奨される。