日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.12818

LeWAM: JEPAによる世界モデルと行動のエンドツーエンド学習

LeWAM: End-to-End World and Action Modeling with JEPAs

シェア:XThreadsFacebookLINEはてブBluesky

JEPAを用いて潜在状態予測と行動フローマッチングを統合し、単一モデルで直接的な方策実行と効率的な計画を可能にする制御フレームワークを提案。接触の多いタスクや長期タスクで成功率を大幅に改善し、計画速度も向上させた。

詳しい要約

1. どんなもの?

- LeWAMは、JEPA(Joint-Embedding Predictive Architecture)を制御に応用したエンドツーエンドの世界モデル+行動モデル。 - 次潜在状態予測と行動フローマッチングを同時に学習する。 - 潜在状態に等方ガウス制約を課すことで、単一モデルで直接的な政策実行と、学習した潜在ダイナミクスを用いた効率的な計画の両方を可能にする。

2. 先行研究と比べてどこがすごい?

- 従来のJEPAパイプラインは視覚表現と行動条件付きダイナミクスを事前学習し、その後で制御政策やソルバーを追加していた。 - LeWAMはこれらをエンドツーエンドで統合し、成功率的に大幅改善:接触リッチタスクで28.6%→89.7%、長期ホライズンタスクで10.9%→46.2%。 - 計画速度も32.3倍高速化。 - 行動クローニングタスクでも既存手法と競合する性能を示す。

3. 技術・手法の肝は?

- 技術の肝は、次潜在状態予測と行動フローマッチングを組み合わせた共同学習目的。 - 潜在状態に等方ガウス制約を課すことで、サンプリングした行動を学習済み潜在ダイナミクスで評価する計画が可能。 - これにより、単一モデルで直接政策実行と計画の両方をサポート。

4. どうやって有効だと検証した?

- 接触リッチタスクと長期ホライズンタスクでの成功率を測定し、従来のJEPAと比較。 - 計画速度の比較も実施。 - シミュレーションと実機ロボットでの行動クローニングタスクで既存手法と比較。 - 解釈可能性分析により、制御に関連する表現と行動分布を学習していることを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:JEPA(Joint-Embedding Predictive Architecture)を用いた視覚計画の先行研究。 - 関連手法:行動クローニング、フローマッチング、モデルベース計画。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minghao Fu, Tavis Siebert, Eryk Halicki, Randall Balestriero

分類: cs.RO, cs.AI

原文アブストラクト

Joint-embedding predictive architectures (JEPAs) learn compact latent world models without pixel reconstruction. Existing JEPA pipelines typically train visual representations and action-conditioned dynamics before adding a control policy or solver. We introduce LeWAM, an end-to-end JEPA for control with: (1) a joint training objective over next latent state prediction and action flow matching, and (2) an isotropic Gaussian constraint on the latent state, enabling a single model to support direct policy execution and efficient planning by evaluating sampled actions with its learned latent dynamics. Compared with prior JEPAs in visual planning, LeWAM improves success rate from 28.6% to 89.7% on contact-rich tasks and from 10.9% to 46.2% on long-horizon tasks, and plans 32.3 times faster. On behavior cloning tasks in simulation and physical robots, LeWAM is also competitive with established methods. Interpretability analyses show that LeWAM learns control-relevant representations and action distributions effectively guiding test-time planning and control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI