日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.07794

NoiseGate: ワールドアクションモデルにおける情報ゲーティングとしての潜在変数毎タイムステップスケジュール学習

NoiseGate: Learning Per-Latent Timestep Schedules as Information Gating in World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの行動生成と未来観測の予測を統合するワールドアクションモデルにおいて、各潜在フレームのノイズレベル(タイムステップ)を学習可能な情報ゲートとして扱い、行動生成に寄与する信頼性を動的に調整する手法NoiseGateを提案した。

詳しい要約

1. どんなもの?

- World Action Models (WAMs) の一種で、video と action を共同生成する枠組み。 - 既存の Mixture-of-Transformers (MoT) では video/action token が self-attention で相互作用するが、各 latent frame の timestep は単一の共有スカラー t に潰されている。 - これを Diffusion Forcing の noise-as-masking の観点から見直し、per-latent timestep schedule を学習可能な情報ゲーティングポリシーとして扱う NoiseGate を提案。 - 各 latent frame のノイズレベルを変えることで、action token への Key/Value 寄与の信頼性を調整する。

2. 先行研究と比べてどこがすごい?

- 従来の WAM は video/action の共同生成を MoT で実現するが、per-latent timestep の自由度を単一の共有スカラー t に潰していた。 - この共有スケジュールは「全ての予測 latent が action 生成に対して等しく信頼できる」という根拠のない事前分布を課す。 - NoiseGate は per-latent schedule を学習可能な情報ゲーティングポリシーと見なし、この制約を外す点が新しい。 - 手作りの形状事前分布なしにタスク報酬でスケジュールポリシーを訓練する。

3. 技術・手法の肝は?

- バックボーン訓練中に独立な per-latent timestep sampling を行う。 - 軽量な Gating Policy Network が denoising 中に per-latent time increment を出力する。 - タスク報酬最適化により、手作りの形状事前分布なしでスケジュールポリシーを訓練する。 - ベースは joint video-action MoT バックボーン。

4. どうやって有効だと検証した?

- 多様な RoboTwin random-scene manipulation タスクで一貫した性能向上を達成。 - 具体的なベースラインや評価指標、統計的有意性は要旨からは不明。

5. 議論はある?

- 共有スケジュールが課す「全 latent が等しく信頼できる」という事前分布の妥当性を問う。 - per-latent schedule を情報ゲーティングとして解釈する視点を提示。 - 限界や失敗ケース、計算コスト、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- Diffusion Forcing (noise-as-masking の枠組み) - Mixture-of-Transformers (MoT) を用いた World Action Models - joint video-action modeling の既存手法 - RoboTwin ベンチマーク関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wen Huang, Haoran Sun, Yongjian Guo, Yunxuan Ma, Haoran Li, Jing Long, Zhouying Mo, Zhong Guan, Yucheng Guo, Shuai Di, Junwu Xiong

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) are an emerging family of policies that tie robot action generation to future-observation modeling. In this work, we focus on the joint video--action modeling paradigm, where actions and imagined future observations are co-generated along a shared denoising or flow trajectory, so that perception, prediction, and control are coupled within one generative process. Existing WAMs typically realize this paradigm with a Mixture-of-Transformers (MoT), where video and action tokens interact through shared self-attention. This architecture can in principle assign a separate timestep $t_f$ to each predicted latent frame, yet current systems collapse this degree of freedom onto a single shared scalar $t$. Under the noise-as-masking view of Diffusion Forcing, this shared schedule imposes the unjustified prior that every predicted latent is equally reliable for action generation. We instead view the per-latent schedule as a \emph{learnable information-gating policy}: by changing a latent frame's noise level, the policy modulates the reliability of its Key/Value contribution to the action tokens. We propose \textbf{NoiseGate}, which combines independent per-latent timestep sampling during backbone training, a lightweight Gating Policy Network that emits per-latent time increments during denoising, and task-reward optimization that trains the schedule policy without hand-crafted shape priors. Built on a joint video--action MoT backbone, NoiseGate delivers consistent gains on diverse RoboTwin random-scene manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI