日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.12979

EPM-JEPA:JEPA系世界モデルにおけるオペレータ側経験変調

EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPA系世界モデルで、テスト時の分布シフトに対応するため、経験表現を予測器の重みにLoRAで注入する方式(EPM-JEPA)を提案し、既存の隠れ状態への注入方式(EI-JEPA)と比較。結果は統計的に差がないという帰無結果だったが、重み変調の有効性を示唆する観察も得た。

詳しい要約

1. どんなもの?

JEPA-family world model の predictor に蓄積経験を組み込む2方式を比較した研究。 - operand-side injection: 圧縮経験表現を predictor の hidden state に residual として加算 (EI-JEPA) - operator-side modulation: 同じ表現から LoRA で低ランク weight delta を生成し predictor の重みを変調 (EPM-JEPA) - 主貢献は mechanism analysis で、D_shift^{n=50} の軌跡が平衡収束ではなく3つの独立動的過程から成ると示す

2. 先行研究と比べてどこがすごい?

JEPA-family world model は静的 predictor を使い、test-time dynamics が training からずれても重みが適応しない点が先行の限界。 - 本研究は経験を operand 側に注入するか operator 側(重み)で変調するかを直接比較 - 事前登録比較で EPM-JEPA は EI-JEPA に対し delta=4.74% の null result (Outcome C) となり、優位とは言えない - 副次的観察として EPM-JEPA は no-memory baseline を 1.90% 改善し、EI-JEPA は baseline を下回る。利得が weight-level modulation に特異的である可能性を示す

3. 技術・手法の肝は?

JEPA predictor への経験統合を2機構で実装。 - EI-JEPA: 圧縮経験表現を predictor hidden state の residual として加算 - EPM-JEPA: 同表現から LoRA により低ランク weight delta を生成し predictor 重みを変調 - 評価は Moving MNIST の gravity shift 設定、事前登録比較、D_shift^{n=50} 指標、3 seeds - 軌跡分析で buffer cycling、EMA target drift、LoRA settling transient (+0.021) の3過程を同定

4. どうやって有効だと検証した?

Moving MNIST の gravity shift 下で事前登録比較を実施。 - EPM-JEPA: D_shift^{n=50}=0.7848 +/- 0.0078 (3 seeds) - EI-JEPA: 0.8238、差 delta=4.74% で Outcome C (null result) - 副次的非事前登録観察: EPM-JEPA は no-memory baseline (0.8000) を 1.90% 改善、seeds 間で一貫 - EI-JEPA は baseline を下回る - 軌跡が平衡収束でなく3動的過程を反映すると分析

5. 議論はある?

事前登録基準では EPM-JEPA と EI-JEPA の差は null result (Outcome C) で、有効な結果と位置づけ。 - 副次的観察の baseline 改善は weight-level modulation 特異的だが非事前登録 - D_shift^{n=50} 軌跡は平衡収束でなく buffer cycling、EMA target drift、LoRA settling transient (+0.021) の3過程を反映 - この dynamical-peak limitation に対処するため physics-grounded な後継 PEM-JEPA を動機づけ - 一般化や他タスクへの外挿性は要旨からは不明

6. 次に読むべき論文は?

要旨で参照・比較されている研究・手法。 - JEPA-family world models - EI-JEPA (operand-side injection) - EPM-JEPA (operator-side modulation, LoRA) - no-memory baseline - 後継として提案された PEM-JEPA (physics-grounded successor) - 関連要素: LoRA、EMA target、Moving MNIST、gravity shift

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vedant Pandya

分類: cs.LG

原文アブストラクト

JEPA-family world models use a static predictor whose weights do not adapt when test-time dynamics diverge from training. We compare two mechanisms for incorporating accumulated experience into a JEPA predictor under distribution shift: operand-side injection, where a compressed experience representation is added as a residual to the predictor's hidden state (EI-JEPA), and operator-side modulation, where the same representation generates low-rank weight deltas via LoRA applied to the predictor's weights (EPM-JEPA). On a pre-registered comparison (Moving MNIST, gravity shift), EPM-JEPA (D_shift^{n=50} = 0.7848 +/- 0.0078, three seeds) differs from EI-JEPA (0.8238) by delta = 4.74% - Outcome C: a null result - by our stated criterion, a valid outcome. As a secondary, non-pre-registered observation, EPM-JEPA improves 1.90% over a no-memory baseline (0.8000), consistently across seeds, while EI-JEPA underperforms the baseline, indicating the benefit is specific to weight-level modulation. Our primary contribution is a mechanism analysis: the D_shift^{n=50} trajectory reflects three independent dynamical processes - buffer cycling, EMA target drift, and an intrinsic LoRA settling transient of +0.021 - rather than convergence to equilibrium. These findings motivate PEM-JEPA, a physics-grounded successor addressing this dynamical-peak limitation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI