日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2610.15429

スペクトル整合による世界モデリング

World Modeling through Spectral Alignment

シェア:XThreadsFacebookLINEはてブBluesky

観測間の関係を目標類似度カーネルで指定し、その幾何を埋め込み空間で再現するJEPAフレームワークSpecWMを提案。時間カーネルによるスペクトル整合がCEM計画の成功率を大幅に改善することを示した。

詳しい要約

1. どんなもの?

- 世界モデルにどの情報を保持させるかを制御する問題をspectral representation learningの観点から研究 - SpecWMというJEPAフレームワークを提案 - target similarity kernelで観測間の望ましい関係を明示し、encoderが埋め込み幾何でその関係を再現するよう学習 - kernelは物理状態情報から軌跡内の順序のみを要する完全自己教師ありtemporal kernelまで多様 - 制御のためのlatent world modelが保持すべき情報を明示的に指定する簡便な方法を提示

2. 先行研究と比べてどこがすごい?

- 従来のJEPA系world modelと比べ、保持すべき情報をkernelで明示的に指定できる点が新しい - 目的関数の大域的最適解を特徴づけ、線形回復可能性とnuisance情報への不変性の条件を確立 - 理想化設定でtemporal-kernel similarityをbehavioral successor measureと結びつけた - 経験的にkernelの選択が表現から回復可能な物理量を強く制御することを示した - temporal spectral alignmentによりCEM planningの成功率がLeWorldModel比で大幅改善

3. 技術・手法の肝は?

- JEPAベースのSpecWMを導入 - target similarity kernelで観測間の望ましい関係を指定 - encoderを訓練し、その埋め込み幾何で関係を再現させる - 物理状態情報から軌跡内順序のみを要するtemporal kernelまで異なるkernelが異なる教師信号を提供 - 目的関数の大域的最適解を解析し、線形回復可能性とnuisance不変性の条件を導出 - temporal-kernel similarityを理想化設定でbehavioral successor measureに接続

4. どうやって有効だと検証した?

- 経験的にkernelの選択が表現から回復可能な物理量を強く制御することを確認 - temporal spectral alignmentがCEM planningの成功率を改善 - OGBench Cubeで52%から68%へ向上 - OGBench Sceneで49%から77%へ向上 - CALVINで29%から51%へ向上 - 比較対象はLeWorldModel

5. 議論はある?

- 表現幾何を明示的に指定することが、latent world modelが制御のために保持する情報を操作する簡便な方法であることを示唆 - 目的関数の大域的最適解、線形回復可能性、nuisance不変性の条件を理論的に特徴づけ - temporal-kernel similarityとbehavioral successor measureの理想化設定での接続を提示 - 要旨からは不明な点として、実世界ロボティクスへの適用や計算コスト、kernel設計の一般性に関する議論は明示されていない

6. 次に読むべき論文は?

- LeWorldModel(比較対象として言及) - JEPA(関連フレームワーク) - CEM planning(評価に使用) - OGBench(評価ベンチマーク) - CALVIN(評価ベンチマーク) - behavioral successor measure(理論的接続) - spectral representation learning(基盤となる枠組み)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Holger Molin, William Peng, Marco Bagatella, Randall Balestriero

分類: cs.LG, cs.AI

原文アブストラクト

How do we tell a world model what information to preserve? We study this question through the lens of spectral representation learning. We introduce SpecWM, a JEPA framework that explicitly specifies desired relationships between observations through a target similarity kernel and trains the encoder to reproduce those relationships in its embedding geometry. Different kernels provide different supervision, ranging from physical state information to a fully self-supervised temporal kernel requiring only the ordering of observations within trajectories. We characterize the global optima of the objective, establish conditions for linear recoverability and invariance to nuisance information, and connect temporal-kernel similarity to the behavioral successor measure under an idealized setting. Empirically, the choice of kernel strongly controls which physical quantities are recoverable from the representation. More importantly, temporal spectral alignment improves CEM planning success over LeWorldModel from 52% to 68% on OGBench Cube, 49% to 77% on OGBench Scene, and 29% to 51% on CALVIN. These results suggest that explicitly specifying representation geometry provides a simple way to steer what latent world models preserve for control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI