日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.28838

不確実性ゲート付き探索ノイズがフローマッチングVLAポリシーのオンラインRL微調整におけるタスク崩壊を抑制する

Uncertainty-Gated Exploration Noise Suppresses Task Collapse in Online RL Fine-Tuning of a Flow-Matching Vision-Language-Action Policy

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングVLAポリシーのオンライン強化学習微調整で生じる「タスク崩壊」を、タスク非依存の新規性・能力信号に基づく不確実性ゲート付き探索ノイズ制御により抑制できることを示した。

詳しい要約

1. どんなもの?

本論文は、事前学習済みの flow-matching vision-language-action (VLA) ポリシーをオンライン強化学習でファインチューニングする際に生じる「task collapse」という失敗モードを研究している。LIBERO-10 ベンチマーク上で 450M パラメータの SmolVLA ポリシーを PPO と stochastic (SDE) サンプリングで訓練し、探索ノイズのポリシーがタスク保持に与える影響を比較した。

2. 先行研究と比べてどこがすごい?

先行研究と比べて、固定ノイズスケールや ReinFlow スタイルの学習ノイズネットワークではタスク崩壊が起こるのに対し、不確実性ゲート付きコントローラはタスク崩壊を全く起こさないことを示した。また、タスクラベルやエピソード境界なしにタスク間で探索を再分配する点が新しい。

3. 技術・手法の肝は?

技術の肝は、タスクに依存しない novelty と competence の信号から、タスクストリーム間で探索を再分配する不確実性ゲート付きコントローラである。これは、固定ノイズスケール、ReinFlow スタイルの学習ノイズネットワークと比較される。

4. どうやって有効だと検証した?

LIBERO-10 で 450M パラメータの SmolVLA ポリシーを PPO と SDE サンプリングで訓練し、3 つの探索ノイズポリシーを比較した。固定ノイズは 3 シード中 2 つでタスク崩壊、学習ノイズは測定した全シードで崩壊、コントローラは 3 シードすべてで崩壊しなかった。

5. 議論はある?

コントローラの効果はタスク保持に支持されるが、状態間および時間にわたる適応の個別の寄与は分離されていない。また、bfloat16 訓練で action expert の 96.02% の要素が 3 反復でビット同一であること、fp32 マスターコピーでは参照学習率で両アームが崩壊するという観察が述べられているが、これらは原因として提示されていない。

6. 次に読むべき論文は?

ReinFlow スタイルの学習ノイズネットワーク、および固定ノイズスケールの手法が比較対象として挙げられている。また、LIBERO-10 ベンチマークや SmolVLA ポリシー、PPO と SDE サンプリングが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mehmet Turan Yardımcı, Yunus Emre Çoğurcu

分類: cs.RO, cs.LG

原文アブストラクト

Online reinforcement learning fine-tuning of pretrained flow-matching vision-language-action (VLA) policies promises robots that keep learning after deployment, but continued updates often destroy competence on individual tasks while the aggregate still looks healthy. We study this failure mode, which we call task collapse, under a matched small-compute budget on LIBERO-10 with a 450M-parameter SmolVLA policy trained by PPO with stochastic (SDE) sampling. Three exploration-noise policies differ in one live variable: a fixed noise scale, a ReinFlow-style learned noise network, and an uncertainty-gated controller that redistributes exploration across task streams from task-agnostic novelty and competence signals, without task labels or episode boundaries. Under the pooled definition, fixed noise collapses tasks in two of three seeds and learned noise in every seed measured to iteration 200, while the controller collapses none in any of its three seeds. Measured parameter displacement shows the controller's action expert keeps changing, while its mean applied noise is close to the fixed scale in the available logs. The matched comparison supports the controller's effect on task preservation; the separate contributions of its adaptation across states and over time are not disentangled. A lower fixed scale slows the decline but does not stop it. No arm improves on the behavior-cloning baseline in this budget. Two properties of that regime are measured beside this result, not offered as its cause: following the reference recipe, training runs in bfloat16 with no fp32 master copy, under which 96.02% of the action expert's elements stay bit-identical across three consecutive iterations, and an fp32 master copy at the reference learning rate collapses both arms in a single-seed observation. We release tools measuring per-task collapse under four definitions, rescoring noise and instrument tares.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI