日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2607.16314

深度正則化JEPAワールドモデルによる実屋外ロボットデータからの転移可能な表現学習

Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data

シェア:XThreadsFacebookLINEはてブBluesky

実ロボットの屋外映像から学習するJEPAベースのワールドモデルに、深度を幾何学的先行知識として導入し、潜在表現の等方性を促す正則化を組み合わせることで、タスク非依存で多様かつ高エントロピーな表現を獲得し、視覚オドメトリ誤差の低減や異常検知性能の向上を実現した。

詳しい要約

1. どんなもの?

本研究は、実世界の屋外ロボットデータから学習するJEPAベースのWorld Modelにおいて、トレーニング時に深度を幾何学的先行知識として導入し、潜在表現の多様性を高める正則化(SIGReg)と組み合わせることで、より転移可能で堅牢な表現を学習する手法を提案している。推論時の計算コストを増やさずにモデルの複雑さを高めるため、トレーニング時のみの過剰パラメータ化も導入している。

2. 先行研究と比べてどこがすごい?

従来のJEPA World Model(例:LeWM)は、視覚的に複雑な実世界データ、特に予測不可能な屋外環境での学習が困難であった。本研究は、深度を幾何学的先行知識として導入し、潜在空間の等方性を促す正則化(SIGReg)を組み合わせることで、シーン幾何と整合する高エントロピー表現を学習し、ベースラインと比較してVisual Odometryプローブ誤差を33%削減し、驚きスコアの分離を向上させるなど、実データでの転移可能性と表現の質を改善した点が新しい。

3. 技術・手法の肝は?

手法の核は、(1) 深度を幾何学的先行知識としてトレーニングに導入し、潜在ダイナミクスの学習を強化すること、(2) 等方性を誘導する潜在正則化(SIGReg)を用いて、タスク非依存の潜在多様性を最大化しつつ、その多様性の組織化を制約すること、(3) これらの組み合わせにより、シーン幾何と整合する最高エントロピー表現を目標とすること、(4) 推論時間を増やさずに複雑さを満たすためのトレーニング時のみの過剰パラメータ化を追加すること。

4. どうやって有効だと検証した?

実農業ロボットのビデオで18Mパラメータのモデルをトレーニングし、凍結表現を用いたVisual Odometryプローブ、予測器ベースの驚き検出、多段階潜在ロールアウトの忠実度を評価した。ベースラインのLeWMと比較して、Visual Odometryプローブ誤差を33%削減し、驚きスコアの分離をドメイン内およびドメイン外のTartanGroundベンチマークで大幅に向上させた。また、ドメインシフト下での多段階ロールアウト忠実度も向上し、その利得はロールアウトの地平線とともに増加した。さらに、3D幾何に直接関連しない照明や影などの物理理解に関する驚きスコアの分離も改善した。

5. 議論はある?

議論として、深度という軽量なトレーニング時幾何学的先行知識が、実屋外データ上のコンパクトなJEPA World Modelの有用性と転移可能性を向上させることが示された。しかし、深度情報の取得方法や、深度が利用できない環境での適用可能性、SIGRegのハイパーパラメータ調整の影響などについては要旨からは不明である。また、過剰パラメータ化の具体的な実装や、モデルサイズのスケーラビリティに関する議論も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されているベースラインはLeWMであり、関連手法としてJEPAアーキテクチャに基づくWorld Modelが挙げられる。また、TartanGroundベンチマークが比較に用いられている。次に読むべき論文としては、LeWMの原著論文や、JEPAアーキテクチャの基礎論文(例:I-JEPA)、深度推定や幾何学的先行知識を用いた表現学習に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Usman M. Khan

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

World models, especially based on JEPA architectures, have been shown to learn robust dynamics of various environments. However, learning from visually complex real-world data remains a challenge, especially in unpredictable outdoor environments. We introduce depth as a geometric prior during training in learning more robust latent dynamics directly from robot video data and handling visual complexity. This combines depth supervision with an isotropy-inducing latent regularizer (SIGReg), maximizing task-agnostic latent diversity while constraining how that diversity is organized, with the combined objective targeting the highest-entropy representation consistent with scene geometry. To satisfy this greater complexity without increasing inference time, we also add training-only overparameterization. Training an 18M-parameter model on video from a real agricultural robot, we evaluate with frozen-representation visual odometry probes, predictor-based surprise detection, and multi-step latent rollout fidelity. Compared to the baseline LeWM, our method lowers visual odometry probe error by 33%, substantially increases surprise-score separation both in-domain and on the out-of-domain TartanGround benchmark, and improves multi-step rollout fidelity under domain shift, with gains that grow with rollout horizon. Notably, we also see improvements in surprise-score separation on physics understanding that is not directly tied to 3D geometry, such as lighting and shadows. These results show that a lightweight training-time geometric prior makes a compact JEPA world model more useful and more transferable on real outdoor data with strong underlying representations, without adding inference overhead. Our work suggests that depth as a physically grounded prior can enhance world model generalization on a variety of tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI