日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.23391

報酬モデリング不要の大規模視覚言語モデルフィードバックによる方策学習

Policy Learning from Large Vision-Language Model Feedback without Reward Modeling

シェア:XThreadsFacebookLINEはてブBluesky

大規模視覚言語モデルに軌道ペアの選好を問い合わせ、報酬モデルを学習せずに直接方策を訓練する手法PLAREを提案し、ロボット操作タスクで有効性を示した。

詳しい要約

1. どんなもの?

- オフライン強化学習 (offline RL) のための新しいポリシー学習手法 PLARE を提案する論文。 - 事前収集された劣最適なデータセットを用い、オンライン対話なしでロボットエージェントを訓練する枠組み。 - 人手による報酬関数設計を避け、large vision-language model (VLM) が視覚軌道セグメントのペアに与える選好ラベルを訓練信号として利用する。 - ロボット操作タスク (MetaWorld) と実機ロボットで有効性を示す。

2. 先行研究と比べてどこがすごい?

- 既存の offline RL は報酬ラベル付きデータを前提とし、報酬関数設計がコスト・労力・専門知識のボトルネックになっていた。 - 既存の VLM ベース報酬生成手法は明示的な報酬モデルの学習を必要とする傾向がある。 - PLARE は報酬モデルを学習せず、VLM の選好ラベルから直接ポリシーを訓練する点が異なる。 - MetaWorld の操作タスクで、既存の state-of-the-art な VLM ベース報酬生成手法と同等以上と報告。

3. 技術・手法の肝は?

- VLM に言語タスク記述と視覚軌道セグメントのペアを提示し、選好ラベルを問い合わせる。 - 得られた選好ラベルに対し supervised contrastive preference learning 目的関数を用いてポリシーを直接訓練する。 - 明示的な報酬モデルの学習を省略する設計が肝。 - オフラインデータのみを用い、オンライン対話を必要としない。

4. どうやって有効だと検証した?

- MetaWorld のロボット操作タスクで広範な実験を実施。 - 既存の state-of-the-art な VLM ベース報酬生成手法と性能を比較し、同等以上であることを示す。 - 実機ロボットによる実世界操作タスクでも PLARE の有効性を実証。

5. 議論はある?

- 報酬関数設計の負担軽減とオンライン対話回避により、安全-critical な実世界応用への有用性が示唆される。 - 一方、VLM の選好ラベルの品質・バイアス、タスク記述依存性、実機でのスケーラビリティ等の限界については要旨からは不明。 - 詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として言及される既存の VLM-based reward generation 手法 (具体的名称は要旨からは不明)。 - offline RL の基盤的手法 (例: CQL, IQL など同分野の定番)。 - supervised contrastive preference learning の原論文。 - large vision-language model を用いたロボット報酬設計に関する関連研究 (例: VLM-RMs 等、具体的名称は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tung M. Luu, Donghoon Lee, Younghwan Lee, Chang D. Yoo

分類: cs.LG, cs.RO

原文アブストラクト

Offline reinforcement learning (RL) provides a powerful framework for training robotic agents using pre-collected, suboptimal datasets, eliminating the need for costly, time-consuming, and potentially hazardous online interactions. This is particularly useful in safety-critical real-world applications, where online data collection is expensive and impractical. However, existing offline RL algorithms typically require reward labeled data, which introduces an additional bottleneck: reward function design is itself costly, labor-intensive, and requires significant domain expertise. In this paper, we introduce PLARE, a novel approach that leverages large vision-language models (VLMs) to provide guidance signals for agent training. Instead of relying on manually designed reward functions, PLARE queries a VLM for preference labels on pairs of visual trajectory segments based on a language task description. The policy is then trained directly from these preference labels using a supervised contrastive preference learning objective, bypassing the need to learn explicit reward models. Through extensive experiments on robotic manipulation tasks from the MetaWorld, PLARE achieves performance on par with or surpassing existing state-of-the-art VLM-based reward generation methods. Furthermore, we demonstrate the effectiveness of PLARE in real-world manipulation tasks with a physical robot, further validating its practical applicability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI