日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

最適化arXiv:2605.19282

事前学習を超えたMuonの再考:VLAとRLVRにおけるスペクトル障害とハイパス対策

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

シェア:XThreadsFacebookLINEはてブBluesky

Muonオプティマイザの一様なスペクトル白色化が、VLAやRLVRで問題を引き起こすことを示し、高域通過型のNS反復を用いたPionを提案して性能を改善した。

詳しい要約

1. どんなもの?

- Muon を pretraining 以外に適用した際の限界を分析し、代替最適化器 Pion を提案する研究。 - Muon は Newton-Schulz (NS) 反復で momentum 行列の全特異値を 1 に揃える spectral orthogonalization を行う。 - 対象は cross-modality VLA 訓練と RLVR 事後訓練の 2 領域。 - Pion は Muon の計算効率を保つ drop-in replacement。 - 高域通過 NS 反復と per-head モードを導入。

2. 先行研究と比べてどこがすごい?

- Muon は LLM pretraining で AdamW を上回り探索を促進するが、pretraining 以外では限界があることを示す。 - VLA では低ランクな action-module 勾配によりノイズ尾部方向が増幅される問題を指摘。 - RLVR では低 SNR 勾配と per-head 特化の保持が必要で、whitening が不安定になる。 - Pion はこれらを解決し、VLA と RLVR で Muon や AdamW を上回る。 - 特に LIBERO Object で VLA-Adapter 使用時 1,500 ステップで 100% 成功率、Muon 97.0%、AdamW 32.2%。

3. 技術・手法の肝は?

- Pion は Muon の uniform spectral whitening を二段階の Promotion+Suppression 機構に置換。 - これを high-pass NS iteration と呼び、鋭い spectral high-pass 効果を生む。 - 支配的特異値を 1 に固定しつつ、ノイズ尾部成分を 0 に抑制。 - フィルタ強度は制御可能。 - per-head モードでは reshape により attention head ごとに独立更新し、事前学習の異質性を保持。追加コストなし。

4. どうやって有効だと検証した?

- VLA 訓練: LIBERO と LIBERO-Plus で l_1-regression (VLA-Adapter) と flow-matching (VLANeXt) の両アーキテクチャを評価。 - 実機: Franka Research 3 ロボット、pi_0.5 backbone、DROID 設定で 3 つの grasp-and-place タスクを検証。 - RLVR 事後訓練: Qwen3-1.7B/4B で GRPO と GMPO を使用し、MATH と GSM8K で評価。 - 結果: Pion は AdamW を上回り、Muon はゼロに崩壊。

5. 議論はある?

- Muon の spectral whitening が pretraining 以外で抱える根本的限界を議論。 - VLA では低ランク勾配によるノイズ尾部増幅、RLVR では低 SNR と per-head 特化保持の困難を指摘。 - Pion の high-pass NS iteration と per-head モードがこれらの課題に有効であることを示す。 - フィルタ強度の制御可能性や計算効率維持についても言及。 - 具体的な限界や失敗事例の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Muon (matrix-aware optimizer, Newton-Schulz iterations) - AdamW - VLA-Adapter, VLANeXt - GRPO, GMPO - LIBERO, LIBERO-Plus, DROID, Franka Research 3, pi_0.5, Qwen3-1.7B/4B, MATH, GSM8K

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

分類: cs.LG

原文アブストラクト

Muon is a matrix-aware optimizer that leverages Newton-Schulz (NS) iterations to enforce spectral gradient orthogonalization by driving all singular values of the momentum matrix toward 1. While this uniform spectral whitening enhances exploration and outperforms AdamW in LLM pretraining, we show it could lead to fundamental limitations beyond pretraining in two regimes: (i) cross-modality vision-language-action (VLA) training, where inherently low-rank action-module gradients cause amplification of noisy tail directions, and (ii) reinforcement learning with verifiable rewards (RLVR), where low-SNR gradients and the need to preserve per-head specialization from prior training make whitening unstable. To address these challenges, we propose Pion, a drop-in replacement for Muon that preserves its computational efficiency while replacing uniform spectral whitening with a two-stage Promotion+Suppression mechanism, which we call the high-pass NS iteration. This design induces a sharp spectral high-pass effect, anchoring dominant singular values at 1 while suppressing noisy tail components toward 0, with controllable filter strength. To preserve pretrained per-head heterogeneity, Pion also supports a per-head mode that applies updates independently across attention heads via a simple reshape, at no extra cost. In VLA training on LIBERO and LIBERO-Plus, Pion consistently outperforms both baselines across l_1-regression (VLA-Adapter) and flow-matching (VLANeXt) architectures, e.g., reaching 100% success rate on LIBERO Object after 1,500 training steps with VLA-Adapter, vs. 97.0% for Muon and only 32.2% for AdamW. The advantage of Pion further extends to a real Franka Research 3 robot with a pi_0.5 backbone under the DROID setup on three grasp-and-place tasks. In RLVR post-training on Qwen3-1.7B/4B with GRPO and GMPO, Pion also outperforms AdamW on MATH and GSM8K while Muon collapses to zero.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI