日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2608.06799

前方予測だけで十分か?JEPAワールドモデルのための物理状態接地

Is Forward Prediction Enough? Physical State Grounding for JEPA World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPAベースのワールドモデルに、ロボットの自己受容状態と関節角変化を接地する2つの目的を追加し、潜在表現の識別性と下流タスク性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

本論文は、JEPA (Joint Embedding Predictive Architecture) に基づく世界モデルにおいて、物理状態の接地(grounding)を導入したPSG-JEPAを提案する。従来のJEPA世界モデルは、観測系列から行動条件付きの予測的潜在ダイナミクスを学習するが、個々の潜在変数からロボット中心の物理状態を識別できることや、潜在変数のペアから状態変化を識別できることを明示的に保証していない。PSG-JEPAは、前方予測に加えて、個々の潜在変数をロボットの自己受容状態(proprioceptive state)に接地し、潜在変数のペアを多時間スケールの関節角変化に接地する2つの相補的な接地目的を導入する。これらの目的は訓練時のみに適用され、推論アーキテクチャと計算コストは変更されない。

2. 先行研究と比べてどこがすごい?

先行研究のJEPAベースの世界モデルは、前方予測の目的関数のみを用いて潜在表現を学習しており、下流のプランニングやポリシー学習に必要な物理状態の識別可能性が保証されていない。PSG-JEPAは、前方予測に加えて物理状態の接地目的を追加することで、潜在空間をより制御関連性の高い構造に整形する点が新しい。これにより、潜在表現の識別可能性が向上し、プランニングやポリシー学習の性能が改善される。

3. 技術・手法の肝は?

PSG-JEPAの技術的な肝は、2つの接地目的を訓練時に追加することである。第1に、個々の潜在変数をロボットの自己受容状態(例えば関節角度)に回帰する目的を追加する。第2に、潜在変数のペア(時間的に離れた2つの潜在変数)から、その間の関節角変化(multi-horizon joint-angle changes)を予測する目的を追加する。これらの目的は、潜在空間が物理状態を明示的にエンコードするように強制する。推論時には、これらの目的は使用されず、アーキテクチャと計算コストは従来のJEPAと同等である。

4. どうやって有効だと検証した?

有効性の検証は3つのレベルで行われた。(1) 潜在識別可能性の評価として、プロービング(probing)により潜在変数から物理状態をどれだけ正確に読み取れるかを測定。(2) 凍結した潜在表現を用いたゴール条件付きプランニングの性能評価。(3) シミュレーションと実ロボットでのポリシー学習の性能評価。これらの実験で、PSG-JEPAは最先端の潜在世界モデルのベースラインを全レベルで一貫して上回った。

5. 議論はある?

要旨からは、議論の詳細は不明であるが、考えられる点として、接地目的の重みや多時間スケールの選択が性能に与える影響、また、自己受容状態が利用できないタスクへの適用可能性などが挙げられる。しかし、要旨には明示的な議論は記載されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、JEPAベースの世界モデル(例: JEPA, およびその世界モデルへの応用)が挙げられる。具体的な論文名は要旨にないが、JEPAの原論文や、その世界モデルへの応用(例: MC-JEPA, または類似の手法)を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haodong Yan, Jiaguan Zhu, Mingyuan Jia, Ruiqing Yin, Junjie He, Zhide Zhong, Junfeng Li, Jinxuan Lu, Hengtao Li, Tianran Zhang, Jiayi Chen, Wenxuan Song, Wen Chen, Yuxiang Gao, Haoang Li

分類: cs.RO, cs.CV

原文アブストラクト

Learning structured and control-relevant latent representations remains a key challenge for world models. Recent JEPA-based world models learn action-conditioned predictive latent dynamics from observation sequences. However, their forward-prediction objectives do not explicitly enforce reliable identifiability of robot-centric physical state from individual latents or state changes from latent pairs, which can limit downstream planning and policy performance. We propose PSG-JEPA, a physically grounded JEPA world model that shapes its latent space with two complementary grounding objectives beyond forward prediction: grounding individual latents in robot proprioceptive state, and grounding latent pairs in multi-horizon joint-angle changes. Both objectives are applied only during training, leaving the inference architecture and computational cost unchanged. To comprehensively evaluate PSG-JEPA, we conduct experiments at three levels: (1) latent identifiability via probing, (2) goal-conditioned planning on frozen latents, and (3) policy learning in simulation and on a real robot. Experiments demonstrate that our PSG-JEPA consistently outperforms state-of-the-art latent world-model baselines at all three levels.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI