Time-JEPA：物理時系列で動画ワールドモデルを接地する

- 動画 world model の学習に、低次元で時間的に整合した physical time series を補助 supervision として用いる手法 Time-JEPA の提案。 - 既存の video world model を fine-tune し、映像表現と対応する時刻の物理状態を結びつける。 - 対象は autonomous driving、robot manipulation、human motion などの複数ドメイン。

- 先行研究は domain-specific な物理法則を組み込む方式で、multi-domain 学習が複雑になりやすい。 - また個々の frame や frame pair への supervision は、物理状態の時間変化への注目が限定的だった。 - Time-JEPA は時間的に整合した physical time series を補助信号にすることで、物理状態の時間発展の保持を促す点が異なる。

- 低次元・時間整合な physical time series を auxiliary supervision として video world model を fine-tune。 - 映像表現と対応する時間位置の物理状態を結びつけ、物理状態の時間発展を保持させる。 - 詳細な architecture や loss 設計は要旨からは不明。

- autonomous driving、robot manipulation、human motion の複数ドメインで評価。 - current-state decoding、multi-horizon future-state prediction、kinematic reconstruction の3タスクで、video-fine-tuned controls を上回った。 - condition と state-variable の distribution shift 下でも改善。multi-domain 学習は single-domain 学習より集約的に向上。 - 外部評価で physical anomaly への感度と physical interaction 表現の改善、unseen scenarios での有効性を示唆。 - 第2の video backbone でも集約的改善を確認。

- 結果は physical time series が video world model の物理世界理解を助けることを示唆。 - multi-domain 学習が単一ドメインより集約的に良いという知見。 - 限界や失敗ケース、計算コスト、time series の入手性などの議論は要旨からは不明。

- 要旨で参照・比較されている video-fine-tuned controls や、domain-specific な物理法則を組み込む先行研究。 - 関連手法として JEPA 系の self-supervised 表現学習、video world model の fine-tuning 研究。 - 具体名は要旨からは不明。