日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.01372

BRo-JEPA: 潜在空間におけるモジュラー変換の学習

BRo-JEPA: Learning Modular Transformations in Latent Space

シェア:XThreadsFacebookLINEはてブBluesky

視覚入力から代数規則を学習できるかという問いに対し、算術演算を潜在空間での回転として表現する世界モデルBRo-JEPAを提案し、未学習の演算へのゼロショット汎化を達成した。

詳しい要約

1. どんなもの?

視覚入力から代数規則を学習できるかを調べる研究。MNIST/EMNIST lettersを状態、modular arithmetic operationsを行動とし、JEPA-style world modelで扱う。BRo-JEPAはblock-rotation predictorで演算を回転として表現し、latent spaceにmodular arithmeticの巡回構造を獲得する。

2. 先行研究と比べてどこがすごい?

標準のsupervisedおよびJEPA baselinesはoperation embeddingsで見た演算には高精度だが、未見演算への外挿が不安定。BRo-JEPAは演算を回転として適用し、latent表現をmodular構造に整列させることで厳密なzero-shot operation generalizationを実現。最高のblock-rotation supervised baselineはzero-shot精度がMNIST 54.54%、EMNIST 25.13%に対し、BRo-JEPAはResNet-18 encoderで99.44%、94.35%を達成。

3. 技術・手法の肝は?

BRo-JEPAはworld modelにblock-rotation predictorを導入。arithmetic operationsをrotationsとして表現し、latent space上でmodular arithmeticのcyclic structureを形成。行動を回転として適用し、predictorが回転角を学習してlatent representationsを基盤のmodular構造に整列させる。訓練はprimitive operations ±1のみ。

4. どうやって有効だと検証した?

MNISTおよびEMNIST lettersを用い、zero-shot operation generalizationを評価。BRo-JEPAはResNet-18 encoderでMNIST 99.44%、EMNIST 94.35%のzero-shot精度を達成し、block-rotation supervised baselineの54.54%、25.13%を大幅に上回った。

5. 議論はある?

結果は、latent transformationsが基盤のmodular構造を符号化する場合、world modelsが代数規則を学習できることを示唆。ただし要旨からは、限界や失敗事例、他の代数構造への一般化可能性についての議論は不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究として、JEPA-style world model、operation embeddingsを用いるsupervisedおよびJEPA baselines、block-rotation supervised baselineが挙げられる。関連手法としてJEPA (Joint Embedding Predictive Architecture)やResNet-18 encoderも参照されている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Divyansh Jha, Yuanfang Xie, Brennen Yu, Varan Mehra

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Can neural networks learn algebraic rules from visual inputs, or do they merely fit observed patterns? We study this question using MNIST (or EMNIST letters) as states and modular arithmetic operations as actions in a JEPA-style world model. Standard supervised and JEPA baselines with operation embeddings achieve high accuracy on seen operations but fail to extrapolate reliably to unseen operations. We propose BRo-JEPA, a world model with a block-rotation predictor that represents arithmetic operations as rotations, resulting in the cyclic structure of modular arithmetic in latent space. By applying actions as rotations, the BRo-JEPA predictor learns the rotation angles to align the latent representations with the underlying modular structure which enables strict zero-shot operation generalization. While our best block-rotation supervised baseline reaches only 54.54% zero-shot accuracy on MNIST and 25.13% on EMNIST, BRo-JEPA with a ResNet-18 encoder achieves 99.44% and 94.35% respectively, despite being trained only on the primitive operations $\pm$1. Our results suggest that world models can learn algebraic rules when the latent transformations encode the underlying modular structure. Code is available \href{https://github.com/DL-World-Models/brojepa}{here}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI