日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.25398

進化するポリシーに応じて学習データを動的に再サンプリングする拡散型視覚運動学習手法

RefreshGrad: An Online Adaptive Data-sampling Method for Diffusion-based Visuomotor Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡散ベースのVLAポリシー学習において、訓練中に変化する各時間窓の学習価値をポリシー由来の信号で定期的に評価し、サンプリング重みを動的に調整するオンライン適応型データサンプリング手法を提案した。

詳しい要約

1. どんなもの?

- 拡散モデルベースの visuomotor 学習(VLA ポリシー)向けの、オンライン適応型データサンプリング手法。 - デモンストレーション軌跡を時間窓(temporal window)に分割し、学習中に各窓のサンプリング重みを動的に調整する。 - ポリシーのアーキテクチャ・学習目的・推論コストを変えずに最適化の焦点を変える枠組み。

2. 先行研究と比べてどこがすごい?

- 従来は軌跡セグメントを一様サンプリングするか、学習前の静的なオフライン curation に依存していた。 - 本研究は、デモデータの監督価値が時間窓ごとに大きく異なり、学習中にその価値が変化することを見出した。 - 生の loss だけでは捉えられない窓の価値を、ポリシー由来の5つの信号で周期的に評価する点が新しい。 - 比較対象の Uniform や FAKTUAL より高い成功率を報告。

3. 技術・手法の肝は?

- 学習中のポリシーから、時間窓ごとに5つの policy-native 信号を用いて周期的にスコアリングする。 - そのスコアに基づきサンプリング重みを学習中に動的に調整する。 - 情報量が多く学習可能な窓に最適化を集中させる。 - ポリシー構造・学習目的・推論コストは変更しない。 - 5つの信号の具体的定義は要旨からは不明。

4. どうやって有効だと検証した?

- LIBERO-Plus の10個の manipulation タスクで評価。 - 視覚的摂動下で平均成功率が 60.7%(Uniform)、68.2%(FAKTUAL)から 76.1% に向上。 - クリーンなシーンでは 57.4%、73.3% から 81.3% に向上。 - ベースラインとの比較により有効性を検証。

5. 議論はある?

- 時間窓ごとの監督価値の変動と、学習中の価値変化という知見を提示。 - 生の loss だけでは窓の価値を捉えられないと議論。 - アーキテクチャや推論コストを変えずに改善できる点を主張。 - 5つの信号の詳細や限界、計算オーバーヘッドについては要旨からは不明。

6. 次に読むべき論文は?

- FAKTUAL(比較ベースラインとして要旨で参照)。 - Uniform sampling(比較ベースライン)。 - LIBERO-Plus(評価ベンチマーク)。 - diffusion-based visuomotor learning / VLA ポリシー学習の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dijia Zhan, Jinyi Li, Xuemiao Xu, Yan Zhou, Yu Liu, Shaoshan Liu, Jie Tang

分類: cs.RO

原文アブストラクト

Training vision-language-action (VLA) policies from demonstrations typically samples trajectory segments uniformly or relies on static offline data curation before training. However, we find that demonstration data vary sharply in supervision value across temporal windows, and that each window's value to the policy evolves substantially during training rather than being fixed or captured by raw loss alone. Motivated by this finding, we propose RefreshGrad, an online adaptive data-sampling framework that periodically scores temporal windows from the evolving policy using five policy-native signals and dynamically adjusts their sampling weights during training. RefreshGrad focuses optimization on informative, learnable windows without altering the policy architecture, training objective, or inference cost. Across ten LIBERO-Plus manipulation tasks, RefreshGrad boosts average success from 60.7% (Uniform) and 68.2% (FAKTUAL) to 76.1% under visual perturbations, and from 57.4% and 73.3% to 81.3% in clean scenes.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI