CEMにおける世界モデルは提案メカニズムでもある

CEM（cross-entropy method）において、world model が「行動列の選択」と「次反復でサンプルする分布のfit」という2役を担う点に着目し、その2役を分離して評価する研究。4種類の予測モデルでCEM traceを生成し、各モデルが保存済みcandidate poolを再スコアリングする。同じ候補を環境で実行して参照elite setとproposal updateを得る。WalkerとCheetah上の12の独立訓練task-seed unitで検証。

従来CEMはworld-model scoreを行動列選択と分布fitの両方に使うため、scoring errorが現在の決定と将来の候補の両方を変えうる。本研究はこの2役を分離評価する点が新しい。結果として、Cheetahではscorer間の変動がpool source間より大きいこと、Walkerでは両方およびそのpairingに変動があることを示す。要旨からは、先行研究との具体的な性能比較は不明。

- CEMの2役を分離評価する枠組みを提案。 - 4種類のpredictive modelでCEM traceを生成。 - 各modelが全saved candidate poolを再スコアリング。 - 同一候補を環境で実行しreference elite setとproposal updateを取得。 - 指標：pre-specified proposal distance、proposal width、fitted meanの分離、pairwise ranking agreement、elite-set agreement。 - 介入：original six unitsでRandom nonlinearを選択し、最初のmodel-ranked updateをenvironment-ranked updateに置換。

- WalkerとCheetah上の12の独立訓練task-seed unitで評価。 - pre-specified proposal distanceが全unitで初回から最終CEM反復にかけて低下。 - proposal widthが収縮し、fitted meanが残りのsearch widthに対して分離。 - pairwise ranking agreementはWalkerでchance付近、Cheetahで低下。elite-set agreementは改善しない。 - Cheetahではscorer間変動がpool source間より大きい。Walkerでは両方とpairingに変動。 - 介入：original six unitsでRandom nonlinearを選び、最初のmodel-ranked updateをenvironment-ranked updateに置換すると、それら6 unitと選択に使っていない6 unitでfinal realised selected-sequence costが低下。

- world modelのscoring errorが現在の決定と将来の候補の両方に影響するため、2役の分離評価が重要。 - Cheetahではscorer間変動が支配的、Walkerではscorerとpool sourceの両方およびpairingに変動。 - pairwise ranking agreementやelite-set agreementの低さは、world-model scoreが候補選択と分布fitに十分対応しない可能性を示唆。 - 環境ranked updateへの置換がcostを下げたことは、proposal mechanismとしてのworld modelの限界を示す。 - 要旨からは、他のタスクやモデルへの一般化、計算コスト、理論的説明は不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、CEM（cross-entropy method）、world model、model-based RL、random shooting、MPC（model predictive control）、predictive model、elite set、proposal distribution などが挙げられる。 - 同分野の定番として、PETS、MBPO、Dreamer、Plan2Explore などが次に読む候補。ただし要旨に明示的な参照はない。