日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.15605

SRPO: VLAモデルのための自己参照方策最適化

SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの強化学習において、成功軌道を自己参照として失敗軌道に進捗報酬を付与し、報酬の疎さを解消する手法を提案。LIBEROで99.2%の成功率を達成。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの新しい強化学習 (RL) フレームワーク SRPO (Self-Referential Policy Optimization) の提案 - 専門家デモンストレーションへの依存と demonstration bias を軽減する post-training 手法 - 外部デモや手動 reward engineering を必要とせず、モデル自身の成功 trajectory を自己参照として利用 - 失敗 trajectory にも progress-wise reward を付与し、reward sparsity を緩和する - LIBERO benchmark で評価され、99.2% の成功率を達成したと報告

2. 先行研究と比べてどこがすごい?

- 従来の VLA-RL 手法(group-based optimization を含む)は binary success indicator に依存し、reward sparsity が深刻 - 失敗 trajectory の情報を捨ててしまい training efficiency が低いという課題があった - SRPO は外部デモや手動 reward engineering を不要にし、自己参照で失敗にも報酬を割り当てる点が新しい - 生の pixel ではなく world model の latent space の圧縮された転送可能な encoding を用いることで、環境をまたぐ汎化的な trajectory 比較を可能にする - 追加の supervision なしで supervised baseline 48.9% から 99.2% へ改善(相対 103% 向上)

3. 技術・手法の肝は?

- 現在の training batch 内で生成されたモデル自身の成功 trajectory を self-reference として利用 - 失敗した試行に対して progress-wise reward を割り当てる仕組み - 行動の進捗測定に latent world representation を使用 - raw pixel やドメイン固有の fine-tuning に依存せず、world model の latent space の圧縮・転送可能な encoding を活用 - これらの表現が環境横断的な進捗パターンを捉え、汎化的で正確な trajectory 比較を可能にする - 外部デモンストレーションや手動 reward engineering を排除

4. どうやって有効だと検証した?

- LIBERO benchmark 上で empirical evaluation を実施 - supervised baseline の 48.9% 成功率から、わずか 200 RL steps で 99.2% の成功率を達成 - 追加 supervision なしで相対 103% の改善を報告 - LIBERO-Plus benchmark でも 167% の性能改善を示し、堅牢性を確認 - 効率性と有効性の両面を実験的に検証したと主張

5. 議論はある?

- 要旨からは不明(limitation や failure case、ablation の詳細についての記述はない) - reward sparsity の緩和と demonstration bias の克服を主張しているが、その限界や適用範囲は要旨では明示されていない - world model latent space の品質や汎化性に関する議論の有無は要旨からは不明

6. 次に読むべき論文は?

- group-based optimization approaches(VLA-RL における比較対象として言及) - world model の latent representation を用いた手法(関連手法として一般名で挙げられる) - LIBERO / LIBERO-Plus benchmark を用いた VLA の RL post-training 研究 - demonstration bias や reward sparsity を扱う VLA-RL の先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Senyu Fei, Siyin Wang, Li Ji, Ao Li, Shiduo Zhang, Liming Liu, Jinlong Hou, Jingjing Gong, Xianzhong Zhao, Xipeng Qiu

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models excel in robotic manipulation but are constrained by their heavy reliance on expert demonstrations, leading to demonstration bias and limiting performance. Reinforcement learning (RL) is a vital post-training strategy to overcome these limits, yet current VLA-RL methods, including group-based optimization approaches, are crippled by severe reward sparsity. Relying on binary success indicators wastes valuable information in failed trajectories, resulting in low training efficiency. To solve this, we propose Self-Referential Policy Optimization (SRPO), a novel VLA-RL framework. SRPO eliminates the need for external demonstrations or manual reward engineering by leveraging the model's own successful trajectories, generated within the current training batch, as a self-reference. This allows us to assign a progress-wise reward to failed attempts. A core innovation is the use of latent world representations to measure behavioral progress robustly. Instead of relying on raw pixels or requiring domain-specific fine-tuning, we utilize the compressed, transferable encodings from a world model's latent space. These representations naturally capture progress patterns across environments, enabling accurate, generalized trajectory comparison. Empirical evaluations on the LIBERO benchmark demonstrate SRPO's efficiency and effectiveness. Starting from a supervised baseline with 48.9% success, SRPO achieves a new state-of-the-art success rate of 99.2% in just 200 RL steps, representing a 103% relative improvement without any extra supervision. Furthermore, SRPO shows substantial robustness, achieving a 167% performance improvement on the LIBERO-Plus benchmark.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI