日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2607.13612

SIGReg目的関数の変分自由エネルギーとしての理論的能動推論的解釈:JEPA世界モデルの説明

The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPAの訓練目的関数が能動推論の変分自由エネルギーとして有効である条件を理論的に示し、正則化子の選択がその妥当性を決めることを明らかにした。

詳しい要約

1. どんなもの?

本論文は、Joint-Embedding Predictive Architectures (JEPAs) の訓練目的が、Active Inference (AIF) の変分自由エネルギーとして解釈できるための理論的条件を明らかにする。特に、anti-collapse regulariser の選択が、予測損失と重み付き埋め込み正則化からなる JEPA の目的が有効な AIF 自由エネルギーとなるかどうかを決定することを示す。

2. 先行研究と比べてどこがすごい?

従来の JEPA は経験的性能によって正当化されることが多く、規範的原理が欠如していた。本研究は、JEPA の目的を AIF の変分自由エネルギーとして理論的に基礎づけ、正則化器の選択が自由エネルギーの妥当性に与える影響を体系的に分析した点が新しい。

3. 技術・手法の肝は?

手法の核は、4つの非対照的正則化器 (VICReg, LogDet, PairDist, SIGReg) を、prior-miscalibration gap によって指標付けされるエントロピー推定器の階層に整理し、ギャップの符号が AIF のサプライズ境界の生存を決定することを示すこと。さらに、SIGReg がギャップを排除し、目的が正確な情報ボトルネックになることを証明する。

4. どうやって有効だと検証した?

検証は理論的に行われ、完全な証明は Appendix A に、すべての結果の代数的核は Lean 4 で機械検証されている (Appendix D)。実験的検証は将来の研究に委ねられている。

5. 議論はある?

議論として、現在の JEPA ワールドモデルが計算していない AIF 項 (state-epistemic value) を特定し、予測が種類において異なることを指摘。また、VICReg は既約な二次の異方性項を残すが、SIGReg はそれを排除する。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、JEPA の設計、Active Inference、VICReg、LogDet、PairDist、SIGReg などの正則化器に関する論文が挙げられる。具体的には、LeCun らの JEPA に関する論文や、Friston らの Active Inference に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fabio Arnez, Alexandra Gomez-Villa

分類: cs.LG, cs.AI

原文アブストラクト

Joint-Embedding Predictive Architectures (JEPAs) are the dominant design for latent world models, yet they are usually justified by empirical performance rather than a normative principle. We show that the choice of anti-collapse regulariser determines whether a JEPA's training objective, a prediction loss plus a weighted embedding regulariser, is a valid Active Inference (AIF) variational free energy. We organise four non-contrastive regularisers (VICReg, LogDet, PairDist, and SIGReg) into an entropy-estimator hierarchy indexed by a prior-miscalibration gap, and show that the gap's sign, whether the estimator bounds the latent entropy from above or below, decides whether the AIF surprise bound survives: VICReg and LogDet are unsafe upper bounds, PairDist a safe lower bound, and SIGReg eliminates the gap. We then prove a correspondence theorem: under the standard constant-noise encoder model and successful SIGReg enforcement (isotropic-Gaussian embeddings), the gap vanishes, the objective becomes an exact information bottleneck, the surprise bound is preserved, and the latent goal cost becomes an exact proxy for AIF pragmatic value, whereas VICReg leaves an irreducible second-order anisotropy term. We extend the correspondence to multi-step expected free energy, ensemble epistemic value, and a learned-policy regime, and we identify the one AIF term no current JEPA world model computes: the state-epistemic value, a future-state coverage signal. The predictions differ in kind, not degree, and are stated here as theoretical consequences left for empirical test in separate work; full proofs are in Appendix A, and the algebraic core of every result is machine-verified in Lean 4 (Appendix D).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI