日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.12691

ALOE: 視覚言語行動モデルの事後学習のための行動レベルオフポリシー評価

ALOE: Action-Level Off-Policy Evaluation for Vision-Language-Action Model Post-Training

シェア:XThreadsFacebookLINEはてブBluesky

実世界の人間参加型強化学習でVLAモデルを改善するため、現在のポリシーを直接評価するオフポリシー評価フレームワークALOEを提案し、4つの実世界マニピュレーションタスクで検証した。

詳しい要約

1. どんなもの?

- 大規模 foundation な vision-language-action (VLA) システムを、実世界環境での human-in-the-loop reinforcement learning (RL) により改善する研究。 - 課題は、heterogeneous な実世界経験から信頼できる value function を学習すること。value estimation が VLA 訓練の主要な学習信号となる。 - replay buffer には historical policies、online rollouts、demonstrations、intermittent human interventions の trajectory が混在し、observed return が current policy の品質と不一致になりうる。 - 提案手法 ALOE は off-policy evaluation framework で、各 iteration の current-policy behavior を直接評価する value function を持つ。

2. 先行研究と比べてどこがすごい?

- 従来の VLA post-training 手法は progress-style value signals に依存しがちで、これは historical behaviors の平均品質を反映するため current policy に対して mismatched な学習信号となる。 - ALOE は value function が各 iteration の current-policy behavior を直接評価する点で異なる。 - これにより sparse rewards 下での critical action chunks への credit assignment が改善し、安定した policy improvement を支える。 - 4つの実世界 manipulation task で他の VLA post-training 手法を上回ったと報告。

3. 技術・手法の肝は?

- off-policy evaluation framework である ALOE を提案。 - chunked temporal-difference bootstrapping と conservative value aggregation を組み合わせ、安定した current-policy evaluation を行う。 - 得られた value estimates を advantage-weighted policy improvement に用いる。 - この設計により sparse rewards 下で critical action chunks への credit assignment を改善し、安定した policy improvement を可能にする。

4. どうやって有効だと検証した?

- 4つの実世界 manipulation task で評価。long-horizon および high-precision なシナリオを含む。 - タスクは smartphone packing、laundry folding、multi-object sorting、phone assembly。 - 全タスクで ALOE は他の VLA post-training 手法を上回った。 - 実世界 VLA post-training における off-policy value estimates の利点を示す。動画は project website https://rooshy-yang.github.io/aloe で公開。

5. 議論はある?

- replay buffer が異なる behavior で生成された trajectory を混在させるため、observed returns が current policy の品質と mismatched になりうる点を議論。 - 従来の progress-style value signals は historical behaviors の平均品質を反映し、current policy に mismatched な学習信号を与える問題を指摘。 - ALOE は current-policy behavior を直接評価することでこの不一致に対処。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている VLA post-training 手法(progress-style value signals を用いるもの)。 - human-in-the-loop reinforcement learning (RL) 関連研究。 - off-policy evaluation および temporal-difference bootstrapping 関連研究。 - vision-language-action (VLA) モデル全般の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rushuai Yang, Hecheng Wang, Zhichao Wu, Chiming Liu, Xiaohan Yan, Xuan Du, Shuoyu Yue, Chuheng Zhang, Yunlong Wang, Yongcheng Liu, Lizhe Qi, Yi Chen, Wei Shan, Maoqing Yao

分類: cs.RO, cs.AI

原文アブストラクト

We study how to improve large foundation vision-language-action (VLA) systems through human-in-the-loop reinforcement learning (RL) in real-world environments. A key challenge is learning reliable value functions from heterogeneous real-world experience, as value estimation provides the primary learning signal for VLA training. In practice, replay buffers contain trajectories collected from historical policies, online rollouts, demonstrations, and intermittent human interventions. Because replay buffers mix trajectories generated by different behaviors, the observed returns can be mismatched with the quality of the current policy. Prior VLA post-training methods often rely on progress-style value signals, which reflect the average quality of historical behaviors, leading to mismatched learning signals for the current policy. In this paper, we propose ALOE, an off-policy evaluation framework whose value function directly evaluates current-policy behavior for each iteration. Specifically, ALOE combines chunked temporal-difference bootstrapping and conservative value aggregation to perform stable current-policy evaluation, then uses these estimates for advantage-weighted policy improvement. This design improves credit assignment to critical action chunks under sparse rewards and supports stable policy improvement. We evaluate ALOE on four real-world manipulation tasks encompassing long-horizon and high-precision scenarios: smartphone packing, laundry folding, multi-object sorting, and phone assembly. Across all tasks, ALOE outperforms other VLA post-training methods, highlighting the benefit of off-policy value estimates for real-world VLA post-training. Videos are available at our project website https://rooshy-yang.github.io/aloe.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI