日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.38855

フローマッチングVLA方針のための自己教師あり軌道分布最適化によるオンライン進化戦略

Online Evolution Strategy for Flow-Matching VLA Policies via Self-Supervised Trajectory Distribution Optimization

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングに基づくVLAモデルの行動軌道分布を、進化戦略を用いてオンラインで適応的に改善する手法を提案。

詳しい要約

1. どんなもの?

Flow Matching ベースの VLA モデル(Vision-Language-Action)の行動軌道分布を、オンライン適応フレームワーク Online-ES で改善する研究。Evolution Strategy (ES) を用い、潜在ノイズ空間ではなく行動軌道空間で進化的探索を行う。多様な軌道を候補解とし、実行結果のフィードバックから自己教師あり MSE 目的関数を導出してモデルパラメータ空間へ進化方向を転写する。失敗経験を負のフィードバックとして正則化し、失敗領域から遠ざける。

2. 先行研究と比べてどこがすごい?

従来の Flow Matching VLA は条件付き行動軌道分布を学習するが、その分布は不整形で成功行動と失敗行動が混在し、好ましくない領域に確率質量が残る問題があった。Online-ES は潜在ノイズ空間の枝刈りではなく行動軌道空間で直接進化的探索を行う点が新しい。また、価値モデルや advantage 計算なしで強化学習ファインチューニングに匹敵する政策改善を達成する点が優れている。

3. 技術・手法の肝は?

Flow Matching が生成する多様な軌道を候補解とし、サンプル軌道に摂動を加えて実行結果を評価する。その結果から自己教師あり MSE 目的関数を導出し、軌道空間の進化方向をモデルパラメータ空間へ転写する。この目的関数が最適進化方向の不偏推定量であることを数学的に証明。さらに失敗経験を負のフィードバックとして組み込み、進化方向を正則化して過去の失敗領域から遠ざける。

4. どうやって有効だと検証した?

シミュレーション環境と実世界環境の両方で実験を実施。Online-ES が価値モデルや advantage 計算なしで、強化学習ファインチューニングに匹敵する政策改善を達成することを示した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法は明示されていない。同分野の定番として Flow Matching、Evolution Strategy (ES)、Vision-Language-Action (VLA) モデル、強化学習ファインチューニングに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gongxin Yao, Yongsheng Zhao, Jiayin Deng, Deng Liang, Han Gao, Lei Zhao, Baoping Cheng

分類: cs.RO, cs.AI, eess.SY

原文アブストラクト

Vision-Language-Action (VLA) models based on generative frameworks, such as Flow Matching, have recently achieved impressive performance in robotic manipulation. Unlike deterministic policies, Flow Matching enables VLA models to learn conditional action trajectory distributions, where latent noise vectors induce different actions under the same task scenario. However, we observe that these distributions are often ill-formed, with successful and failed behaviors coexisting while considerable probability mass remains in unfavorable regions. To this end, we propose Online-ES, an online adaptation framework for Flow Matching VLAs based on Evolution Strategy (ES), which refines the learned action trajectory distribution through interaction feedback. Instead of pruning the latent noise space, our method performs evolutionary exploration directly in the action trajectory space, where diverse trajectories generated by Flow Matching provide candidate solutions for adaptation. By perturbing sampled trajectories and evaluating their execution outcomes, we derive a self-supervised MSE objective that transfers the evolution direction from trajectory space into model parameter space. Mathematically, we prove that the proposed objective provides an unbiased estimator of the optimal evolution direction. Moreover, we also incorporate failure experiences as negative feedback to regularize the evolution direction, steering the policy away from previously explored failure regions. Experiments in both simulation and real-world environments demonstrate that Online-ES achieves policy improvement comparable to reinforcement fine-tuning, without learning a value model or computing advantages.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI