V-JEPA 2: 自己教師あり動画モデルによる理解・予測・計画

- 本論文は、internet-scale の video と少量の robot trajectory を組み合わせた self-supervised 手法により、物理世界の理解・予測・計画を行うモデルを提案する研究。 - action-free な joint-embedding-predictive architecture である V-JEPA 2 を、100万時間超の video/image dataset で pre-train。 - さらに latent action-conditioned world model である V-JEPA 2-AC を Droid dataset の 62 時間未満の unlabeled robot video で post-train。 - Franka arms 上で zero-shot の pick-and-place を image goals による planning で実現する。

- motion understanding で 77.3 top-1 accuracy on Something-Something v2 を達成。 - human action anticipation で 39.7 recall-at-5 on Epic-Kitchens-100 を達成し、previous task-specific models を上回る state-of-the-art。 - large language model と alignment 後、8 billion parameter scale で複数の video question-answering タスクにおいて state-of-the-art（例: 84.0 on PerceptionTest、76.9 on TempCompass）。 - robot planning では、対象環境の robot からデータ収集せず、task-specific training や reward も用いずに zero-shot で pick-and-place を実現。

- action-free な joint-embedding-predictive architecture である V-JEPA 2 を、video と image からなる 100万時間超の internet video dataset で pre-train。 - V-JEPA 2 を large language model と align することで video question-answering を可能にする。 - latent action-conditioned world model である V-JEPA 2-AC を、Droid dataset の 62 時間未満の unlabeled robot video で post-train。 - V-JEPA 2-AC を用い、image goals に基づく planning によって Franka arms 上の pick-and-place を実行。

- motion understanding を Something-Something v2 の top-1 accuracy（77.3）で評価。 - human action anticipation を Epic-Kitchens-100 の recall-at-5（39.7）で評価し、previous task-specific models と比較。 - video question-answering を PerceptionTest（84.0）や TempCompass（76.9）など複数タスクで評価。 - V-JEPA 2-AC を 2 つの異なる lab の Franka arms に zero-shot で deploy し、image goals による picking and placing を検証。対象環境の robot データ収集や task-specific training、reward なしで実施。

- 本論文は、web-scale data からの self-supervised learning と少量の robot interaction data により、物理世界で planning 可能な world model が得られることを示すと主張。 - 対象環境の robot からデータを収集せず、task-specific training や reward なしで zero-shot の pick-and-place を実現した点を強調。 - 一方、要旨からは、失敗事例、限界、安全性、他タスクへの汎化性、計算コスト、データ依存性などに関する詳細な議論は不明。

- 要旨で直接参照・比較されている研究は明示されていない。 - 関連手法として、V-JEPA 2 の基盤である JEPA（joint-embedding-predictive architecture）系の self-supervised video models や、latent action-conditioned world model を用いた robot planning の研究を次に読む候補として挙げる。 - また、large language model との alignment による video question-answering や、Droid dataset を用いた robot learning の関連研究も候補。