日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

生成モデルarXiv:2605.24631

生成事前分布を超えて:JEPAガイド拡散によるマイノリティサンプリング

Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion

シェア:XThreadsFacebookLINEはてブBluesky

実世界の意味的希少性に基づくマイノリティサンプリングを実現するため、JEPA(世界モデル)のガイダンスを拡散モデルに組み込む手法を提案。近似戦略と理論的誤差限界により計算コストを削減し、様々な生成タスクで有効性を実証した。

詳しい要約

1. どんなもの?

- 少数サンプリング(minority sampling)とは、データ多様体上の低密度なインスタンスを生成するタスク。 - 医療診断、異常検知、創造的AIなどで重要。 - 本研究は、生成モデルの事前分布ではなく実世界の事前分布に基づいて希少性を定義する「world-centric」な視点を提案。 - JEPA(Joint-Embedding Predictive Architecture)で誘導する拡散サンプリングフレームワーク「JEPA guidance」を導入。

2. 先行研究と比べてどこがすごい?

- 既存手法は生成モデルが学習した事前分布(generative priors)を基準に少数サンプルを定義。 - そのため希少性がモデル固有の概念に閉じ、実世界の意味論を反映しにくい。 - 本研究は実世界の事前分布(real-world priors)に基づく希少性を定義し、意味論的に妥当な少数サンプルを生成。 - 無条件・クラス条件付き・text-to-image生成で、generator-centricなベースラインを上回る。

3. 技術・手法の肝は?

- JEPA(world modelの一種)が持つ暗黙的密度の下で低密度領域へ拡散軌道を誘導するJEPA guidanceを提案。 - これにより生成される少数サンプルを実世界の意味論的希少性に整合させる。 - 計算コストを抑えるため、理論的誤差境界を伴う原理的な近似戦略を開発。 - これによりguidance計算のオーバーヘッドを大幅に削減。

4. どうやって有効だと検証した?

- 無条件生成、クラス条件付き生成、text-to-image生成の広範な実験を実施。 - JEPA guidanceが少数サンプルのfidelityとsemantic validityを一貫して改善することを示す。 - generator-centricなベースラインと比較して、実世界の希少性概念の捕捉で優位であることを確認。 - コードは https://github.com/soobin-um/jepa-guidance で公開。

5. 議論はある?

- 実世界の事前分布に基づく希少性定義の有効性を主張。 - 近似戦略に理論的誤差境界を与え、計算実用性を示す。 - ただし、JEPAの暗黙的密度が実世界の意味論的希少性をどの程度正確に反映するかについては要旨からは不明。 - 他のworld modelや事前分布を用いた場合の一般性については要旨からは不明。

6. 次に読むべき論文は?

- JEPA(Joint-Embedding Predictive Architecture)に関する論文。 - 拡散モデル(diffusion models)のguidance手法(classifier guidance、classifier-free guidanceなど)。 - 少数サンプリング(minority sampling)や異常検知(anomaly detection)に関する研究。 - world modelsに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sol Park, Soobin Um

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Minority sampling aims to generate low-density instances on a data manifold and is of central importance in applications such as medical diagnosis, anomaly detection, and creative AI. Existing approaches, however, define minority samples relative to generative priors learned from training data, confining rarity to model-specific notions that may poorly reflect real-world semantics. In this work, we propose a world-centric perspective on minority sampling, which defines rarity with respect to real-world priors rather than generator-induced densities. To this end, we introduce JEPA guidance, a diffusion sampling framework guided by a Joint-Embedding Predictive Architecture (JEPA) -- a class of world models that encode broad, semantically rich representations. JEPA guidance steers diffusion trajectories toward low-density regions under the implicit density induced by the JEPA, thereby aligning generated minorities with real-world semantic rarity. To make JEPA guidance computationally practical, we develop principled approximation strategies accompanied by theoretical error bounds, significantly reducing the overhead of guidance computation. Extensive experiments across unconditional, class-conditional, and text-to-image generation demonstrate that JEPA guidance consistently improves the fidelity and semantic validity of minority samples, outperforming generator-centric baselines in capturing real-world notions of rarity. Code is available at https://github.com/soobin-um/jepa-guidance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI