日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2610.00722

JEPA-TTT: ダイナミクス変化下の計画のための潜在世界モデルの持続的テスト時訓練

JEPA-TTT: Persistent Test-Time Training of Latent World Models for Planning under Dynamics Shifts

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みJEPA世界モデルの潜在ダイナミクス予測器をテスト時に自己教師あり学習で適応させ、環境のダイナミクス変化下でも計画性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

JEPA-TTTは、事前学習済みのaction-conditioned Joint-Embedding Predictive Architecture (JEPA) world modelのlatent dynamics predictorを、テスト時間中に適応させる手法である。視覚encoderとreward headは固定し、自己教師あり更新をエピソード間で蓄積する。planningにはgoal imageもonline environment rewardも不要。dense replayにより予測ウィンドウを全時間オフセットで形成し、成長するbufferからminibatchをサンプリングしてpredictorを更新する。

2. 先行研究と比べてどこがすごい?

従来のworld modelはテスト時のdynamics shiftで予測が不正確になる。JEPA-TTTは、事前学習済みJEPA world modelを凍結したまま使う場合と比べ、8つのdynamics shiftすべてでplanningを改善。500テストエピソード後、autoregressive latent prediction errorを平均83%削減し、planning performanceを153%向上させた。また、goal imageやonline rewardを必要としない点が先行研究と異なる。

3. 技術・手法の肝は?

技術の肝は、pretrained action-conditioned JEPA world modelのlatent dynamics predictorのみをテスト時間中に自己教師ありで適応させる点。視覚encoderとreward headは固定し、pretrained representationとtask objectiveを保持。dense replayでは、予測ウィンドウを全時間オフセットで形成し、成長するbufferに保持し、そこからminibatchをサンプリングしてpredictorを更新する。更新はエピソードをまたいで蓄積される。

4. どうやって有効だと検証した?

4つの連続制御環境における8つのdynamics shiftで評価。JEPA-TTTはすべてのshiftでplanningを改善。500テストエピソード後、autoregressive latent prediction errorを平均83%削減し、planning performanceを凍結JEPA world model比で153%向上させた。

5. 議論はある?

結果は、持続的な自己教師ありテスト時間訓練が、変化したdynamics下で事前学習済みlatent world modelを適応させられることを示す。ただし、要旨からは計算コスト、bufferサイズの影響、他のshiftタイプへの一般化、失敗ケースなどは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として、Joint-Embedding Predictive Architecture (JEPA)、action-conditioned world models、test-time training、dense replay、latent dynamics prediction、model-based planningなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zheyuan Zhang, Suyu Ye, Nakul Agarwal, Hossein Nourkhiz Mahjoub, Ehsan Moradi Pari, Daniel Khashabi, Tianmin Shu, Vaishnav Tadiparthi

分類: cs.LG

原文アブストラクト

World models enable agents to plan by predicting future states of the environment, but their predictions can become unreliable when test-time dynamics differ from those seen during training. We present JEPA-TTT, which adapts the latent dynamics predictor of a pretrained action-conditioned Joint-Embedding Predictive Architecture world model throughout test time. Self-supervised updates accumulate across episodes, while the visual encoder and reward head remain fixed, preserving the pretrained representation and task objective. Planning requires neither a goal image nor online environment reward. JEPA-TTT uses dense replay, which forms prediction windows at every temporal offset, retains them in a growing buffer, and samples minibatches from that buffer for predictor updates. Across eight dynamics shifts in four continuous-control environments, JEPA-TTT improves planning on every shift. After 500 test-time episodes, it reduces autoregressive latent prediction error by 83% on average and improves planning performance by 153% over the frozen JEPA world model. These results show that persistent self-supervised test-time training can adapt a pretrained latent world model under changed dynamics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI