アクション条件付き world model の予測が action に応答しているかを、action の置換・除去による精度低下で診断する従来の手法が誤った効果を報告しうることを示す方法論的論文。autocorrelated design 下では将来の action が観測されない history の stand-in となり、より良いモデルほど stand-in をよく学習して偽の action 効果を生む。さらに world model 固有の失敗として、多数の site が同一 action sequence を共有する場合(cells in a microscope field, pixels in a frame)の pooled score が action contrast に沿った小さなモデル誤差を真の効果への圧倒的証拠に増幅する pooling amplification を同定する。
2. 先行研究と比べてどこがすごい？
- 従来の action 効果診断は action の置換・除去後の accuracy loss に依拠しており、これが action 効果のない場合にも効果を報告することを示した点が新しい。
- autocorrelated design における stand-in effects という失敗モードを明示し、design law が既知なら conditional randomization test を e-value として書けばモデルによらず有限標本で valid であることを示す。
- world model 固有の pooling amplification を同定し、frame が 64 から 4096 pixels に増えると pixel world の median log e-value が -17.3 から -6832 に低下する一方 oracle は上昇することを示した。
- 事前登録された optogenetic ERK 実験の解析がまさにこの失敗をしたこと、tempered statistic が null を棄却したことを報告。
3. 技術・手法の肝は？
- conditional randomization test を e-value として定式化。design law が既知で、resampler が design の用いた full state に条件付けするなら、モデルによらず有限標本で valid。
- 単純な law からの resampling は偽の効果を再現してしまうことを示す。
- pooling amplification に対し、training data で推定した design effect で score を tempering する。これは bet を変えるが validity は変えない。
- 全解析は事前登録、実行前に日付入り protocol で固定、または exploratory とラベル付け。全報告結果は hashed result files から生成。
4. どうやって有効だと検証した？
- pixel world において frame を 64 から 4096 pixels に増やす実験で、pooled score の median log e-value が -17.3 から -6832 へ低下し、oracle は上昇することを示した。
- 事前登録された optogenetic ERK 実験の解析が同様に失敗することを確認。
- synthetic data で選択しデータ取得前に登録した tempered statistic が、未開封の field で null を棄却(E≈1.1×10^10)。
- 全解析の事前登録・protocol 固定・exploratory ラベル・hashed result files による再現性担保。
5. 議論はある？
- action の置換・除去による accuracy loss 診断は autocorrelated design 下で stand-in effects を報告しうるため、action 効果の証拠として不適切。
- resampler が design の full state に条件付けないと偽の効果を再現する。
- pooling amplification は world model 固有で、多数 site が同一 action sequence を共有する設計で深刻。
- tempering は bet を変えるが validity を変えない点に注意。
- 要旨からは不明な点として、他の design law やモデル種別への一般化可能性、tempering の最適選択基準などは議論されていない。
6. 次に読むべき論文は？
- conditional randomization test と e-value の原論文(design-based inference 関連)。
- action-conditioned world model の評価手法に関する研究。
- optogenetic ERK 実験の元研究。
- pooling amplification に関連する pooled score や multiple testing の手法。
- 要旨で参照/比較されている具体的な研究名は明示されていないため、同分野の定番として design-based inference、randomization test、world model 評価の一般文献を挙げる。
Action-conditioned world models are increasingly trained on data from randomized experiments, and whether their predictions respond to actions is usually checked by replacing or removing the actions and measuring the loss in accuracy. We show that such diagnostics report action effects where there are none: under autocorrelated designs, future actions stand in for history the model does not see, and a better model learns the stand-in better. When the design law is known, a conditional randomization test written as an e-value is valid in finite samples whatever the model, provided the resampler conditions on the full state the design used; resampling from a simpler law reproduces the false effect. We identify a second failure, specific to world models: when many sites share one action sequence (cells in a microscope field, pixels in a frame), the natural pooled score turns small model errors along the action contrast into overwhelming evidence against a true effect. In a pixel world, its median log e-value fell from $-17.3$ to $-6832$ as frames grew from 64 to 4096 pixels, while the oracle's rose. Tempering the score by a design effect estimated on training data changes the bet, not the validity. Our own preregistered analysis of optogenetic ERK experiments failed in exactly this way; a tempered statistic, selected on synthetic data and registered before the data were obtained, then rejected the null on a never-opened field ($E\approx 1.1\times10^{10}$). Every analysis is preregistered, fixed in a dated protocol before it was run, or labelled exploratory, and every reported result is generated from hashed result files.
