日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2607.26924

時間中心化SIGRegによるマルチタスク世界モデル学習の改善:分析から手法へ

Temporally Centered SIGReg Improves Multi-Task LeWorldModel Learning: From Analysis to Method

シェア:XThreadsFacebookLINEはてブBluesky

マルチタスク世界モデル学習で表現崩壊を防ぐSIGRegがタスク間の分離を圧縮する問題を発見し、潜在変数の周辺分布ではなく時間中心化残差に適用する手法を提案。LIBEROベンチマークで成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

本論文は、マルチタスク設定におけるLeWorldModel (LeWM)の学習を安定化する手法を提案する。従来のSIGRegは単一タスクでは有効だが、マルチタスクでは性能が低下する。その原因を、潜在変数の周辺分布を等方性ガウス分布に正則化することで、タスク間のクラスタ分離が圧縮され、表現のエイリアシングが生じるためと分析する。解決策として、SIGRegを潜在変数の周辺分布ではなく、時間的に中心化された残差に適用する手法を提案する。これにより、クラスタ中心間の分離への正則化圧力を排除しつつ、表現崩壊を防ぐ効果を維持する。

2. 先行研究と比べてどこがすごい?

先行研究のSIGRegは単一タスクでの世界モデル学習を安定化するが、マルチタスクでは性能が低下する。本手法は、SIGRegの適用対象を時間的に中心化された残差に変更することで、マルチタスク学習を可能にし、LIBEROベンチマークで大幅な性能向上を達成した点が優れている。また、外部事前学習なしで、スクラッチから学習したDiffusion Policyをわずかに上回り、大規模事前学習ポリシーベースラインに迫る性能を示した。

3. 技術・手法の肝は?

手法の核心は、SIGRegを潜在変数の周辺分布ではなく、時間的に中心化された残差に適用することである。具体的には、各タイムステップの潜在変数から時間平均を引いた残差に対して、等方性ガウス分布への正則化を課す。これにより、タスク間のクラスタ中心の分離には直接的な正則化圧力をかけず、表現崩壊を防ぐ効果を維持する。また、潜在変数全体が単一の等方性ガウス分布に従うという要件を撤廃する。

4. どうやって有効だと検証した?

LIBEROベンチマークを用いて検証した。長いホライズンのスイートで成功率を1.7倍に向上させ、4つのスイート全体の平均成功率を53.2%から73.6%に引き上げた。また、外部事前学習なしで、スクラッチから学習したDiffusion Policyをわずかに上回り、大規模事前学習ポリシーベースラインに迫る性能を示した。

5. 議論はある?

議論として、周辺ガウス事前分布とマルチタスク潜在構造の間の構造的不整合が明らかにされた。提案手法はこの不整合を回避するが、時間的中心化がどの程度一般的な状況で有効か、また他の正則化手法との比較などは要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている研究として、SIGRegを提案した先行研究(LeWorldModelの単一タスク学習)や、比較対象であるDiffusion Policy、大規模事前学習ポリシーベースラインが挙げられる。また、関連する世界モデル学習や表現正則化の研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chang Liu, Fei Suo, Yanzhou Jin, Yusuke Iwasawa, Yutaka Matsuo, Yaonan Zhu

分類: cs.LG, cs.RO

原文アブストラクト

Recent work on LeWorldModel (LeWM) has shown that the Sketched Isotropic Gaussian Regularizer (SIGReg) enables stable end-to-end world-model learning from pixels by regularizing the latent marginal distribution toward an isotropic Gaussian, thereby preventing representation collapse. While effective and elegant in single-task settings, this recipe does not extend reliably to multi-task training, leading to substantially worse downstream behavior-cloning performance. In this paper, we show that marginal Gaussianization compresses the separation between task-dependent latent clusters relative to within-cluster variation. This compression introduces representation aliasing across tasks and states, and makes the learned representations highly sensitive to small visual perturbations. To address this problem, we apply SIGReg to temporally centered residuals rather than to the latent marginal distribution. This surrogate target places no direct regularization pressure on the separation among cluster centers, removes the requirement that the full latent follow a single isotropic Gaussian, and retains the anti-collapse effect of SIGReg. On the LIBERO benchmark, our method improves downstream success on the long-horizon suite by 1.7x and raises the average success rate across four suites from 53.2% to 73.6%. Without external pretraining, it slightly outperforms Diffusion Policy trained from scratch and approaches the performance of large-scale pretrained policy baselines. These results reveal a structural incompatibility between marginal Gaussian priors and multi-task latent structure, and provide a simple route toward stable and scalable end-to-end multi-task world-model learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI