日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2607.04978

Qantara: マルチパラダイムJEPA制御のためのブリッジフロー学習

Qantara: Bridge-Flow Training for Multi-Paradigm JEPA Control

シェア:XThreadsFacebookLINEはてブBluesky

Qantaraは、学習時に単一の推論パラダイムに固定されず、推論時に複数の制御手法(プランニング、行動クローニング、逆動力学)を切り替えられるJEPAベースの世界モデルを提案する。

詳しい要約

1. どんなもの?

Qantaraは、Joint-Embedding Predictive Architectures (JEPAs)に基づくエンドツーエンドの世界モデルであり、単一のチェックポイントで複数の推論パラダイム(潜在計画、行動クローニング、逆動力学)をサポートする。訓練時には、状態軸上のBrownian-bridge interpolantと行動軸上のnoise-to-data flow matchingを組み合わせた目的関数を用いる。

2. 先行研究と比べてどこがすごい?

既存のJEPA世界モデルは訓練時に単一の推論パラダイム(軌道最適化または直接の行動クローニング)にコミットするが、Qantaraは訓練時にパラダイムを選択せず、推論時に展開制約(ロールアウトコスト、観測アクセシビリティ)に応じて選択できるようにする点が新しい。

3. 技術・手法の肝は?

手法の肝は、訓練目的関数が状態軸上の連続するクリーンな潜在表現間のBrownian-bridge interpolantと、行動軸上のnoise-to-data flow matchingをペアにしていること。また、訓練は(行動時間, 状態時間)のノイズ正方形のエッジに質量を集中させ、推論時に予測器がクエリされる場所に合わせている。

4. どうやって有効だと検証した?

LeWM制御スイートで91.2 SR(3シード平均)を達成し、OGBench-CubeでSOTAを更新(DINO-WM比+7.7 SR、LeWM比+19.7 SR)。同じ重みから、行動クローニングとビデオ逆合成パスはPush-Tで82-83 SR、Cubeで71-73 SRを達成。また、一様な内部サンプリングに置き換えるとPush-T計画が90.1から53.3 SRに低下することを示し、エッジ集中の重要性を検証。

5. 議論はある?

要旨からは、Qantaraが複数パラダイムを単一チェックポイントで提供することの利点と、訓練時のサンプリング戦略の重要性が示唆されるが、具体的な議論や限界については不明。

6. 次に読むべき論文は?

要旨で参照されているDINO-WM、LeWM、OGBench-Cube、Push-Tなどの関連研究や、JEPA、world models、flow matching、Brownian bridgeに関する基礎論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruslan Rakhimov, George Bredis, Yuriy Maksyuta, Daniil Gavrilov

分類: cs.LG, cs.CV, cs.RO

原文アブストラクト

Joint-Embedding Predictive Architectures (JEPAs) underpin a growing family of latent world models for control from raw pixels, but every existing JEPA world model commits at training time to a single inference paradigm: either trajectory optimisation in a learned dynamics model, or direct behaviour cloning. A single checkpoint that serves both would defer this choice to inference, when deployment constraints (rollout cost, observation accessibility) determine which path wins. We present Qantara, an end-to-end JEPA whose joint training objective pairs a Brownian-bridge interpolant between consecutive clean latents on the state axis with noise-to-data flow matching on the action axis. The same checkpoint serves three inference paradigms without retraining: latent planning, behaviour-cloning action sampling, and inverse dynamics, which we query through a video-inverse composition that first predicts the next latent without action conditioning, then extracts the action. Training concentrates mass on the edges of the (action-time, state-time) noise square, where inference queries the predictor: replacing it with uniform interior sampling drops Push-T planning from 90.1 to 53.3 SR at matched compute. On the LeWM control suite, Qantara reaches a 91.2 SR three-train-seed average and sets new SOTA on OGBench-Cube (+7.7 SR over DINO-WM, +19.7 over LeWM). From the same weights, the behaviour-cloning and video-inverse paths reach 82-83 SR on Push-T and 71-73 SR on Cube. These results move JEPA world models from single-paradigm planners to multi-paradigm controllers.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI