日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/表現学習arXiv:2603.20327

潜在世界の探査:潜在表現における創発的離散記号と物理構造

Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations

シェア:XThreadsFacebookLINEはてブBluesky

V-JEPA 2の潜在表現を離散記号列に変換する軽量プローブAIMを提案し、物理的カテゴリ(把持角度、物体形状、動作時間構造)で記号分布が有意に異なることを示した。

詳しい要約

1. どんなもの?

- V-JEPA 2 の連続潜在表現を離散シンボル列に変換する AI Mother Tongue (AIM) を提案 - 目的は JEPA 系 video world model の潜在空間に物理構造が内在するかを調べる probing - encoder は完全に frozen のまま、task-specific supervision なしで量子化する passive probe - Kinetics-mini 上で grasp angle、object geometry、motion temporal structure の3次元を評価 - 4段階 roadmap の Stage 1 として action-conditioned symbolic world model へ向かう位置づけ

2. 先行研究と比べてどこがすごい?

- 既存 probing は連続空間で構造化中間層を持たないか、生成 component を付けて encoder 由来か probe 由来か切り分け困難 - AIM は encoder を frozen に保つため、codebook の記号構造を V-JEPA 2 事前学習表現に帰属可能 - vocabulary-free かつ task-specific supervision 不要で、離散シンボル列として解釈可能な形にする点が新しい - 生成モデルの pixel 再構成経路を介さず、latent 予測のみの JEPA の interpretability gap を埋める試み

3. 技術・手法の肝は?

- Joint Embedding Predictive Architectures (JEPA) の masked region latent 予測で学習された V-JEPA 2 を対象 - AIM は軽量な passive quantization probe として連続 latent vector を離散 symbol sequence に変換 - encoder は変更せず完全 frozen、task-specific supervision も使わない - 語彙を固定しない vocabulary-free な codebook を構成 - 評価は category-contrast 実験で grasp angle、object geometry、motion temporal structure の3物理次元を比較

4. どうやって有効だと検証した?

- Kinetics-mini 上で3つの物理次元に関する category-contrast 実験を実施 - AIM symbol 分布が3実験すべてで有意に異なることを確認 - chi^2 p < 10^{-4}、MI 0.036--0.117 bits、NMI は 3-bit 最大の 1.2--3.9%、JSD 最大 0.342 - codebook active ratio は 62.5% - 結果から V-JEPA 2 latent space が compact で、多様な action category が共通表現 core を共有し、意味差は categorical boundary ではなく graded distributional variation として符号化されると報告

5. 議論はある?

- V-JEPA 2 latent space は多様な action 間で共通 core を共有し、意味差は段階的分布変化として現れる - そのため離散シンボルは明確なカテゴリ境界ではなく、分布の勾配として現れる可能性が議論される - AIM の codebook 構造は frozen encoder に帰属できるが、probe 自体の設計影響や一般性は要旨からは不明 - 4段階 roadmap の Stage 1 であり、action-conditioned symbolic world model への拡張可能性が示唆される - 限界や反証、他データセットでの挙動は要旨からは不明

6. 次に読むべき論文は?

- V-JEPA 2 および JEPA 系 video world model の関連研究 - Joint Embedding Predictive Architectures (JEPA) の原論文 - masked region prediction を用いる video representation learning の研究 - Kinetics-mini を含む Kinetics 系 action recognition データセット研究 - action-conditioned symbolic world model や discrete symbol emergence に関する研究 - 同分野の定番として video world model、self-supervised video representation learning、probing/interpretability 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liu hung ming

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Video world models trained with Joint Embedding Predictive Architectures (JEPA) acquire rich spatiotemporal representations by predicting masked regions in latent space rather than reconstructing pixels. This removes the visual verification pathway of generative models, creating a structural interpretability gap: the encoder has learned physical structure inaccessible in any inspectable form. Existing probing methods either operate in continuous space without a structured intermediate layer, or attach generative components whose parameters confound attribution of behavior to the encoder. We propose the AI Mother Tongue (AIM) framework as a passive quantization probe: a lightweight, vocabulary-free probe that converts V-JEPA 2 continuous latent vectors into discrete symbol sequences without task-specific supervision or modifying the encoder. Because the encoder is kept completely frozen, any symbolic structure in the AIM codebook is attributable entirely to V-JEPA 2 pre-trained representations -- not to the probe. We evaluate through category-contrast experiments on Kinetics-mini along three physical dimensions: grasp angle, object geometry, and motion temporal structure. AIM symbol distributions differ significantly across all three experiments (chi^2 p < 10^{-4}; MI 0.036--0.117 bits, NMI 1.2--3.9% of the 3-bit maximum; JSD up to 0.342; codebook active ratio 62.5%). The experiments reveal that V-JEPA 2 latent space is markedly compact: diverse action categories share a common representational core, with semantic differences encoded as graded distributional variations rather than categorical boundaries. These results establish Stage 1 of a four-stage roadmap toward an action-conditioned symbolic world model, demonstrating that structured symbolic manifolds are discoverable properties of frozen JEPA latent spaces.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI