VeoワールドシミュレータによるGeminiロボティクスポリシーの評価

- 本報告は、frontier video foundation model である Veo を基盤とした生成的世界シミュレータ上で、Gemini Robotics の visuomotor policy を評価するシステムを提案する。 - 目的は、policy 評価の全スペクトル（nominal performance、out-of-distribution (OOD) generalization、physical/semantic safety の probing）を video model でカバーすること。 - 実世界シーンの編集・多視点補完により、現実に近い多様な評価シーンを合成する generative evaluation system である。

- 従来、ロボティクスにおける video model の利用は主に in-distribution 評価、すなわち policy 学習や base video model の fine-tune に似たシナリオに限られていた。 - 本研究はそれを超え、OOD generalization や physical/semantic safety の red teaming まで含む評価全体に video model を適用できることを示す点が新しい。 - 単なる生成ではなく、複数の generalization 軸に沿った現実シーンの現実的な変種合成を可能にする点を主張している。

- 中核は frontier video foundation model (Veo) 上の generative evaluation system で、robot action conditioning と multi-view consistency をサポートするよう最適化されている。 - generative image-editing と multi-view completion を統合し、実世界シーンを複数の generalization 軸に沿って現実的に変化させた評価シーンを合成する。 - 編集により novel interaction objects、novel visual backgrounds、novel distractor objects を含むシーンを生成し、base video model の能力を保ったまま忠実にシミュレーションする。

- 8 つの Gemini Robotics policy checkpoints と、bimanual manipulator 向け 5 タスクについて 1600+ 回の実世界評価を実施して検証した。 - その結果、nominal 条件と OOD 条件の両方で異なる policy の相対性能を正確に予測できること、generalization 軸ごとの相対的影響を特定できること、physical/semantic safety 制約に違反する挙動を red teaming で顕在化できることを示した。

- 要旨では、video model による評価が nominal から OOD、safety probing まで及ぶ可能性を示す一方、限界や失敗ケース、計算コスト、sim-to-real ギャップなどの議論は要旨からは不明。 - 実世界評価 1600+ 回との比較により fidelity を主張しているが、評価対象は 8 checkpoints・5 タスク・bimanual manipulator に限定されており、一般化可能性に関する議論は要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明示されていない。関連手法として、frontier video foundation model の Veo、評価対象の Gemini Robotics policies、および generative world models を用いたロボティクス評価の研究群を次に読むべき候補として挙げる。 - 具体的な論文名は要旨からは不明。