WorldOlympiad：あなたの世界モデルはトライアスロンを生き残れるか？

- ビデオベースの world model を診断するベンチマーク WorldOlympiad を提案。 - 評価を physical faithfulness、geometric consistency、interaction fidelity の3次元に分解。 - physical track は object segmentation と MLLM-as-judge で mechanics、thermal phenomena、material properties の規則遵守を評価。 - geometry track は Gaussian splatting で再構成し、structural consistency、cross-view coherence、camera-trajectory alignment を評価。 - interaction track は複雑な action prompts への追従と連続 video chunks 間の滑らかな遷移を評価。 - gaming、robotics、general real-world videos の3シナリオをカバー。

- 既存ベンチマークは visual quality、semantic alignment、短期的 temporal coherence に焦点。 - 生成動画が物理規則に従うか、3D構造を保つか、長期的に制御可能な相互作用を維持するかは十分に評価できない。 - WorldOlympiad はこれらを3つの補完的次元に分解し、解釈可能でスケーラブルな評価を提供。 - 汎用の video quality を超えた failure modes を明らかにする点が新しい。

- physical track: object segmentation と MLLM-as-judge を組み合わせ、mechanics、thermal phenomena、material properties の規則を評価。 - geometry track: 生成動画を Gaussian splatting で再構成し、structural consistency、cross-view coherence、camera-trajectory alignment を測定。 - interaction track: 複雑な action prompts への追従性と、連続する video chunks 間の滑らかで一貫した遷移を評価。 - 3つの track と gaming、robotics、general real-world videos のシナリオを組み合わせた評価スイート。

- state-of-the-art models に対する実験を実施。 - physical reasoning、3D consistency、long-horizon interaction に大きなギャップがあることを示した。 - これにより generative world models に対するより構造化された評価プロトコルの必要性を強調。 - 具体的なモデル名や定量結果は要旨からは不明。

- 既存評価は visual quality などに偏り、物理規則・3D構造・長期的相互作用の評価が不足。 - WorldOlympiad は解釈可能でスケーラブルな評価を目指すが、MLLM-as-judge の信頼性や Gaussian splatting 再構成の限界などの議論は要旨からは不明。 - 実験結果は現行モデルの限界を示すが、改善手法や評価の妥当性検証は要旨からは不明。

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として MLLM-as-judge、Gaussian splatting、object segmentation が挙げられる。 - 同分野の定番として video-based world models、video generation benchmarks、embodied manipulation の研究を読むべき。 - 具体的な論文名は要旨からは不明。