エコー・メモリ：行動世界モデルにおける記憶の制御研究

アクション条件付き world model における memory 機構を制御比較する研究。 - 対象: 最初のフレーム・text prompt・camera-action 列から multi-segment video を生成するモデル。 - 中心課題: 局所的な画像合成ではなく、camera が離れて戻った後に scene や salient object が静かに変化する memory の失敗。 - 手法: action-to-video interface を固定し、history の保存・読み出しのみを変化させる。 - 比較: raw context、compression-based memory、spatial summaries と異なる read-out 経路、state-space recurrence。 - 評価: replay quality、in-domain loop revisit、open-domain return probes の three-branch protocol。

既存の memory 設計は、backbone・training・retrieval・evaluation の差が利得に混ざり比較が困難。 - 本研究は action-to-video interface を固定し、history の保存・読み出しだけを変える。 - 共有する video diffusion backbone、optimizer、camera-action representation、sampler、evaluation pipeline の下で比較。 - これにより capacity、compression、read-out、recurrence の4軸を分離。 - replay fidelity が world の記憶の十分な代理にならないことを示す。

共有 backbone 下で memory の保存・読み出しのみを変える matched matrix を構築。 - 比較対象: raw context、compression-based memory、spatial summaries と異なる read-out 経路、state-space recurrence。 - 4軸: capacity、compression、read-out、recurrence を分離。 - 評価は three-branch protocol: replay quality、in-domain loop revisit、open-domain return probes。 - 各 branch の不一致を分析し、memory の構造の影響を調べる。

three-branch protocol で memory を評価。 - replay quality、in-domain loop revisit、open-domain return probes の3分岐。 - 分岐間で結果がしばしば不一致。 - 知見: raw context は強い capacity baseline で、replay metrics より open-domain return を大きく改善。 - 知見: 圧縮は capacity の無償代替ではなく、攻撃的な spatial/hybrid-compression memory は return に必要な salient evidence を失う。 - 知見: block-wise state-space recurrence が matrix 中最強の open-domain return 機構。

replay fidelity は world を記憶する十分な代理ではない。 - 3つの評価分岐が日常的に不一致。 - compactness は capacity の無償代替ではない。 - 暗黙的 memory の構造が、使うかどうかの決定と同じくらい重要。 - 限界や今後の課題は要旨からは不明。

要旨で参照・比較されている研究: raw context、compression-based memory、spatial summaries、state-space recurrence。 - 関連手法: video diffusion backbone、camera-action representation、sampler。 - 同分野の定番: action-conditioned world models、video diffusion models、memory-augmented generative models。