EV-JEPA: あらゆるデバイスとデバイス間推論に対応する伸縮自在なV-JEPA

V-JEPA などの foundation model を、smart glasses・phones・robots・servers にまたがる heterogeneous edge-cloud continuum 上で、単一モデルとして任意デバイスに展開可能にする Elastic V-JEPA (EV-JEPA) を提案。 - 幅 (width) を再構成可能で、異種デバイス間でネイティブに分割実行できる。 - 一度学習すれば continuum 上のどこにでも配備できることを目指す。

既存手法は片方の軸しか扱わない。 - slimmable / NAS ベースは width elasticity を提供するが single-device inference を前提。 - split-computing は cross-device collaboration を可能にするが固定 partition・静的 capacity のみ。 - EV-JEPA は単一モデルで width 再構成と cross-device 分割の両方を同時に実現。 - 各種 benchmark で独立学習 baseline の 1 accuracy point 以内、従来の elastic training 手法より最大 11 accuracy points 改善。

中核は Transition-Aware Triplet Training (T3)。 - 各ステップで narrow と wide の width を選び、3 つの path を学習: 各 width 単独、および early layers を narrow・残りを wide で走らせる hybrid path。 - hybrid の switch point がデバイス間の handoff 点に対応し、同一 weights が single-device と cross-device の両実行を学習。 - elastic 原則を backbone 外にも拡張し、elastic token compression 機構で on-device computation・latency・accuracy の制御可能な trade-off を提示。

各種 benchmark で評価。 - EV-JEPA は独立学習 baseline の 1 accuracy point 以内。 - 従来の elastic training 手法より最大 11 accuracy points 改善。 - narrow-to-wide cross-device hybrid execution は最高 capacity の standalone model の 1.1 points 以内まで回復。 - many-to-one、any-to-any、variable-split 構成をサポート。 - elastic token compression が on-device computation・latency・accuracy の trade-off を制御可能なことを示す。

要旨からは不明。 - 具体的な限界・失敗ケース・計算コスト・通信オーバーヘッド・適用範囲外の議論は記述されていない。

要旨で参照/比較されている研究・手法。 - V-JEPA (foundation model) - slimmable networks - NAS-based elastic methods - split-computing / partitioned inference - elastic training approaches - elastic token compression - heterogeneous edge-cloud continuum 上の foundation model 配備