日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.12822

大規模視覚言語モデルのフィードバックを活用する評価ベース強化学習の強化

Enhancing Rating-Based Reinforcement Learning to Effectively Leverage Feedback from Large Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルから軌道の絶対評価を得て報酬関数を学習するERL-VLMを提案し、データ不均衡やノイズに対処して従来手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 強化学習(RL)の報酬関数設計を、人間の代わりに large vision-language models (VLMs) のフィードバックから学習する手法 ERL-VLM を提案した研究。 - 従来の pairwise comparisons ではなく、各 trajectory に対する絶対評価(absolute ratings)を VLM に問い合わせる rating-based RL を採用。 - low-level および high-level の制御タスクで評価し、既存の VLM ベース報酬生成手法を上回る性能を示す。

2. 先行研究と比べてどこがすごい?

- 先行の VLM ベース報酬生成は pairwise comparisons に依存していたのに対し、本手法は個々の trajectory の絶対評価を利用。 - これにより、より表現力の高いフィードバックとサンプル効率の改善を狙う点が新規。 - 人間フィードバック獲得の高コスト・労働集約性を緩和し、AI フィードバックで RL をスケールさせる可能性を示す。

3. 技術・手法の肝は?

- VLM に個別 trajectory の絶対評価(absolute ratings)を問い合わせ、それを報酬学習に用いる rating-based RL を基盤とする。 - データ不均衡(data imbalance)とノイズラベル(noisy labels)に起因する不安定性に対処するため、rating-based RL への複数の改良を導入。 - 具体的な改良の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- low-level および high-level の制御タスクを含む広範な実験を実施。 - 既存の VLM ベース報酬生成手法と比較し、ERL-VLM が有意に優れることを示した。 - 実験設定・指標・ベースラインの詳細は要旨からは不明。

5. 議論はある?

- 人間の介入を最小化しつつ AI フィードバックで RL をスケールできる可能性を主張。 - より自律的で効率的な報酬学習への道筋を示すと述べる。 - 限界や失敗事例、ノイズラベル対処の残課題などは要旨からは不明。

6. 次に読むべき論文は?

- RL from human feedback (RLHF) 関連の研究。 - pairwise comparisons に基づく VLM ベース報酬生成の先行手法(具体的名称は要旨からは不明)。 - rating-based RL の基礎研究(具体的名称は要旨からは不明)。 - large vision-language models (VLMs) を用いた報酬学習・AI feedback に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tung Minh Luu, Younghwan Lee, Donghoon Lee, Sunho Kim, Min Jun Kim, Chang D. Yoo

分類: cs.LG, cs.RO

原文アブストラクト

Designing effective reward functions remains a fundamental challenge in reinforcement learning (RL), as it often requires extensive human effort and domain expertise. While RL from human feedback has been successful in aligning agents with human intent, acquiring high-quality feedback is costly and labor-intensive, limiting its scalability. Recent advancements in foundation models present a promising alternative--leveraging AI-generated feedback to reduce reliance on human supervision in reward learning. Building on this paradigm, we introduce ERL-VLM, an enhanced rating-based RL method that effectively learns reward functions from AI feedback. Unlike prior methods that rely on pairwise comparisons, ERL-VLM queries large vision-language models (VLMs) for absolute ratings of individual trajectories, enabling more expressive feedback and improved sample efficiency. Additionally, we propose key enhancements to rating-based RL, addressing instability issues caused by data imbalance and noisy labels. Through extensive experiments across both low-level and high-level control tasks, we demonstrate that ERL-VLM significantly outperforms existing VLM-based reward generation methods. Our results demonstrate the potential of AI feedback for scaling RL with minimal human intervention, paving the way for more autonomous and efficient reward learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI