日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/計画arXiv:2607.25337

時間距離JEPA:潜在世界モデル予測制御のための計画認識表現学習

Temporal-Distance JEPA: Plan-Aware Representation Learning for Latent World Model Predictive Control

シェア:XThreadsFacebookLINEはてブBluesky

報酬なし軌跡から時間的コストを学習し、潜在世界モデルの計画性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

Temporal-Distance-JEPAは、JEPA(Joint-Embedding Predictive Architecture)に基づく潜在世界モデルを用いたモデル予測制御(MPC)のための表現学習手法。オフラインのデモンストレーションログから、軌跡間の時間的距離(temporal distance)を教師信号として学習し、プランニングに適したコスト関数と表現を獲得する。

2. 先行研究と比べてどこがすごい?

従来のJEPAプランナーは、埋め込み空間のユークリッド距離をプランニングのコストとして使用していたが、これは表現学習の副産物であり、真の進捗コストではない。Temporal-Distance-JEPAは、報酬なし軌跡から直接、時間的進捗を表す有向コストを学習することで、プランニングと表現学習のギャップを埋める。

3. 技術・手法の肝は?

LeWMのエンコーダ・予測器バックボーンを保持しつつ、報酬なし軌跡から有向時間コストをマイニングする。同一軌跡内のステップ順序を正例、異なる軌跡間のペアを負例として用い、プランナーのホライズンに合わせたロールアウト整合性項を追加する。学習したコストは、トポロジカルな進捗が支配的な環境ではプランニングコストとして、接触幾何が支配的な環境では表現学習の信号として利用する。

4. どうやって有効だと検証した?

ロック評価(locked evaluation)で、Two-Room成功率をLeWMの97.4%から100.0%に向上。OGB-Cubeでは共有ユークリッドプランニングでLeWMより14.2ポイント向上し、Push-Tも改善。LeWMおよび同時期のRC-auxベースラインと比較し、全環境で同等以上を達成。アブレーションで、有向ヘッド、クロストラジェクトリ負例、ロールアウト整合性の各要素の寄与を確認。

5. 議論はある?

要旨からは、学習した時間的距離がトポロジカルな進捗と接触幾何のどちらに依存するかで、コストとして使うか表現信号として使うかを切り替える点が議論の余地がある。また、ロック評価での有効性は示されたが、実環境での性能や、より複雑なタスクへの一般化については不明。

6. 次に読むべき論文は?

要旨で参照されているLeWM(Latent World Model)とRC-aux(concurrent baseline)が次に読むべき論文。また、JEPAの基礎となるJoint-Embedding Predictive Architecturesの原論文も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxin Bai, Jiaxuan Xiong

分類: cs.CL, cs.RO

原文アブストラクト

Joint-Embedding Predictive Architectures (JEPAs) learn world models by predicting in representation space rather than reconstructing pixels, making them a natural backbone for latent model predictive control from offline demonstration logs. JEPA-style training optimizes short-horizon latent prediction, whereas planning requires a multi-step ranking of imagined futures by goal progress. Prior JEPA planners often inherit that ranking from embedding geometry, typically latent Euclidean distance, which arises as a byproduct of representation learning rather than as a progress cost mined from the logs. We propose Temporal-Distance-JEPA, which retains the LeWM encoder--predictor backbone and mines a directed temporal cost from reward-free trajectories: same-trajectory step order supplies positive targets, cross-trajectory pairs act as heuristic negatives, and a rollout-consistency term matches the planner horizon. The mined supervision serves two roles: as the deployed planning cost when progress is topological, and as a representation signal that improves Euclidean planning when contact geometry dominates. Under locked evaluation, deploying the mined cost raises Two-Room success to 100.0% versus LeWM's 97.4%, while shared Euclidean planning on the same temporally trained checkpoint raises OGB-Cube by 14.2 points over LeWM and improves Push-T. Against LeWM and the concurrent RC-aux baseline under locked evaluation, Temporal-Distance-JEPA matches or exceeds both methods on every environment. Ablations show that the directed head, cross-trajectory negatives, and rollout consistency each contribute. Temporal-Distance-JEPA narrows the train--plan gap for JEPA world-model planners by discovering temporal progress structure in offline logs and co-designing cost form with plan-time deployment. Code is available at https://github.com/HKBU-KnowComp/Temporal-Distance-JEPA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI