- 生成 video model の zero-shot 能力を検証した研究
- 対象は Veo 3
- 明示的に学習していない多様な視覚タスクを解けるかを示す
- 扱うタスクの例
- object segmentation、edge detection、image editing
- 物理的性質の理解、object affordance の認識、tool use の simulation
- 知覚・モデリング・操作能力が visual reasoning の初期形態につながると主張
- maze や symmetry の solving を例示
- 結論として video model が unified な generalist vision foundation model へ向かう可能性を示唆
2. 先行研究と比べてどこがすごい?
- LLM の zero-shot 汎化と generalist 化の流れを video model に類推
- web-scale data で学習した大規模 generative model という共通の primitives に着目
- 従来の video model は生成・予測が中心と見られがち
- 本研究は未学習タスクへの創発的 zero-shot 能力を示す点が新しい
- 単一タスク特化型の視覚モデルではなく、複数タスクを一つの model で扱える可能性を提示
- 具体的な先行研究との定量比較は要旨からは不明
- video model が unified な generalist vision foundation model へ向かうという展望を提示
- LLM の汎化経路との類似性を議論の枠組みにしている
- 限界や失敗例、評価の公平性、計算コスト、データ依存性の議論は要旨からは不明
- 「early forms of visual reasoning」という位置づけで、能力の成熟度は限定的と示唆
6. 次に読むべき論文は?
- LLM の zero-shot・generalist 化に関する研究(例: GPT 系の foundation model 研究)
- Veo 3 および Veo 系の generative video model の論文
- video foundation model の汎化を扱う研究(例: video-language model 系)
- zero-shot 視覚タスクの評価手法に関する研究(segmentation、depth、affordance など)
- visual reasoning ベンチマーク(maze、symmetry 等)に関する研究
- 要旨で直接参照された個別論文は明示されていないため、上記は関連分野の一般名
The remarkable zero-shot capabilities of Large Language Models (LLMs) have propelled natural language processing from task-specific models to unified, generalist foundation models. This transformation emerged from simple primitives: large, generative models trained on web-scale data. Curiously, the same primitives apply to today's generative video models. Could video models be on a trajectory towards general-purpose vision understanding, much like LLMs developed general-purpose language understanding? We demonstrate that Veo 3 can solve a broad variety of tasks it wasn't explicitly trained for: segmenting objects, detecting edges, editing images, understanding physical properties, recognizing object affordances, simulating tool use, and more. These abilities to perceive, model, and manipulate the visual world enable early forms of visual reasoning like maze and symmetry solving. Veo's emergent zero-shot capabilities indicate that video models are on a path to becoming unified, generalist vision foundation models.