日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2602.18639

不変な視覚表現を学習する連合埋め込み予測ワールドモデルによる計画

Learning Invariant Visual Representations for Planning with Joint-Embedding Predictive World Models

シェア:XThreadsFacebookLINEはてブBluesky

bisimulationエンコーダを予測目的に追加し、背景変化や妨害物に頑健な潜在空間での計画を可能にするワールドモデルを提案。DINO-WMより最大10倍小さい潜在空間で堅牢性を向上。

詳しい要約

1. どんなもの?

- 高次元視覚観測から学習したWorld Modelsで、潜在空間での計画を可能にする手法。 - 特にJEPAs(Joint-Embedding Predictive Architectures)の一種であるDINO-WMのテスト時ロバスト性の低下を改善。 - bisimulation encoderを予測目的に追加し、制御に関連する状態等価性を強制。 - 背景変化やdistractorなどの「slow features」に対する堅牢性を向上。 - 潜在空間を最大10倍小さくしながら、ナビゲーションタスクで有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来のJEPAs(例:DINO-WM)はslow featuresに敏感で、テスト時ロバスト性が劣化。 - 提案手法はbisimulation encoderを導入し、制御に関連する状態等価性を強制。 - これによりslow featuresの影響を抑制し、ロバスト性を向上。 - また、潜在空間を最大10倍削減しながら性能を維持。 - さらに、事前学習済み視覚エンコーダの選択に依存せず、DINOv2、SimDINOv2、iBOTと組み合わせてもロバスト。

3. 技術・手法の肝は?

- 予測目的にbisimulation encoderを追加。 - bisimulation encoderは、類似した遷移ダイナミクスを持つ状態を近い潜在状態にマッピング。 - これにより、制御に関連する状態等価性を強制し、slow featuresからの寄与を制限。 - 結果として、タスクに無関係な視覚変動(背景変化、distractor)に対するロバスト性が向上。 - また、潜在空間の次元を削減可能。

4. どうやって有効だと検証した?

- 簡単なナビゲーションタスクで評価。 - 異なるテスト時の背景変化と視覚的distractorの下で性能を検証。 - すべてのベンチマークで、slow featuresに対するロバスト性が一貫して改善。 - 潜在空間がDINO-WMより最大10倍小さいことを確認。 - 事前学習済み視覚エンコーダ(DINOv2、SimDINOv2、iBOT)との組み合わせでもロバスト性を維持。

5. 議論はある?

- 提案手法はslow featuresに対するロバスト性を改善し、潜在空間を削減。 - 事前学習済み視覚エンコーダの選択に依存しない。 - ただし、評価は簡単なナビゲーションタスクに限定。 - より複雑なタスクや実世界環境での有効性は要旨からは不明。 - 他のJEPAsやWorld Modelsとの比較は限定的。

6. 次に読むべき論文は?

- DINO-WM(DINO World Model) - JEPAs(Joint-Embedding Predictive Architectures) - DINOv2 - SimDINOv2 - iBOT

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Leonardo F. Toso, Davit Shadunts, Yunyang Lu, Nihal Sharma, Donglin Zhan, Nam H. Nguyen, James Anderson

分類: cs.LG, math.OC

原文アブストラクト

World models learned from high-dimensional visual observations allow agents to make decisions and plan directly in latent space, avoiding pixel-level reconstruction. However, recent latent predictive architectures (JEPAs), including the DINO world model (DINO-WM), display a degradation in test time robustness due to their sensitivity to "slow features". These include visual variations such as background changes and distractors that are irrelevant to the task being solved. We address this limitation by augmenting the predictive objective with a bisimulation encoder that enforces control-relevant state equivalence, mapping states with similar transition dynamics to nearby latent states while limiting contributions from slow features. We evaluate our model on a simple navigation task under different test-time background changes and visual distractors. Across all benchmarks, our model consistently improves robustness to slow features while operating in a reduced latent space, up to 10x smaller than that of DINO-WM. Moreover, our model is agnostic to the choice of pretrained visual encoder and maintains robustness when paired with DINOv2, SimDINOv2, and iBOT features.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI