日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.20104

感覚運動世界モデル:逆動力学による行動のための知覚

Sensorimotor World Models: Perception for Action via Inverse Dynamics

シェア:XThreadsFacebookLINEはてブBluesky

逆動力学正則化を導入した潜在世界モデルを提案し、表現の崩壊を防ぎつつ行動に関連する表現を学習することで、報酬なしの軌跡から効率的な計画を可能にする。

詳しい要約

1. どんなもの?

本論文は、sensorimotor world model (SMWM) を提案する。これは、inverse dynamics regularization を用いて end-to-end で学習される latent world model である。視覚的忠実度だけでなく行動に関連する表現を学習し、高次元観測からコンパクトな予測状態を獲得することを目指す。オフラインで報酬なしの軌道から安定して学習でき、2Dおよび3Dの制御タスクで計画性能を示す。

2. 先行研究と比べてどこがすごい?

従来の JEPA-style world models は、表現崩壊を防ぐために frozen encoders、exponential moving averages、複雑な latent regularizers を必要とすることが多い。SMWM は単一の inverse dynamics regularization で表現崩壊を防ぎつつ、行動に整合した表現を誘導する。これにより、オフラインで報酬なしの軌道から、これらの複雑な仕組みなしに安定した学習が可能となる点が優れている。

3. 技術・手法の肝は?

SMWM の肝は、inverse dynamics regularization を end-to-end 学習に組み込むことである。潜在状態が遷移の背後にある行動情報を保持するように強制することで、表現崩壊を防ぎ、環境の制御可能な自由度にバイアスをかけ、制御不能な妨害要因を捨てる。これにより、frozen encoders や exponential moving averages、複雑な latent regularizers を使わずに、オフラインで報酬なしの軌道から安定した latent world model を学習する。

4. どうやって有効だと検証した?

簡単な 2D および 3D の制御タスクにおいて、SMWM がコンパクトで解釈可能な潜在空間を学習し、競争力のある計画性能を達成することを実証した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

JEPA-style world models、inverse dynamics、latent world models に関する研究。具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

分類: cs.LG, cs.AI

原文アブストラクト

Perception for action suggests that representations of the world should be shaped not by visual fidelity alone, but by their relevance for actions. At the same time, latent JEPA-style world models advocate learning compact predictive states from high-dimensional observations to facilitate the prediction of future states, but end-to-end training of these models is nontrivial because representations may collapse if our only goal is to construct a latent state that is easy to predict. We introduce a sensorimotor world model (SMWM): a latent world model trained end-to-end with inverse dynamics regularization. This single regularizer addresses both issues: it prevents representation collapse and induces action-aligned representations. By forcing latent states to preserve information about the action underlying a transition, it biases the model toward the controllable degrees of freedom of the environment while discarding uncontrollable distractors. This yields stable latent world models trained from offline, reward-free trajectories, without frozen encoders, exponential moving averages, or complex latent regularizers. Empirically, SMWM learns compact, interpretable latent spaces and enables competitive planning performance across simple 2D and 3D control tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI