日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

報酬学習/VLMarXiv:2606.00083

デモから報酬へ:VLM報酬モデルのテスト時プロンプト最適化

From Demonstrations to Rewards: Test-Time Prompt Optimization for VLM Reward Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボットのデモンストレーション数本を用いて、VLM報酬モデルの言語指示をテスト時に最適化し、誤検出を減らして報酬精度を向上させる手法を提案した。追加学習や計算資源を必要とせず、シミュレーションと実機で有効性を実証した。

詳しい要約

1. どんなもの?

- 強化学習の報酬関数を自動生成する手法 - VLMを報酬モデルとして利用 - テスト時プロンプト最適化 - 少数のデモンストレーションから報酬モデルを適応 - ロボティクスタスクに適用

2. 先行研究と比べてどこがすごい?

- 従来のゼロショットVLM報酬モデルより高性能 - 偽陽性を低減し真陽性を維持 - ポリシー学習中の追加計算不要 - 手動報酬設計が不要 - 実世界ロボティクスに転移可能

3. 技術・手法の肝は?

- テスト時適応技術Demo2Reward - 言語指示を最適化 - 3-10のデモンストレーション軌跡を使用 - 偽陽性低減と真陽性維持 - モデル再訓練不要

4. どうやって有効だと検証した?

- シミュレーションロボティクスタスクで評価 - 複数のポリシーバックボーンで検証 - ゼロショット・少数ショットVLM報酬モデルと比較 - 実世界ロボティクス学習シナリオで転移を実証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- ゼロショットVLM報酬モデル - 少数ショットVLM報酬モデル - 強化学習の報酬設計 - ロボティクスにおける模倣学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Christian Gumbsch, Leonardo Barcellona, Lennard Schünemann, Platon Karageorgis, Andrii Zadaianchuk, Zehao Wang, Sergey Zakharov, Fabien Despinoy, Rahaf Aljundi, Efstratios Gavves

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Reinforcement learning relies on accurate reward functions, which are often hand-crafted or even unavailable in real-world applications, such as robotics. Recent work has explored the zero-shot reasoning capabilities of pre-trained Vision-Language Models (VLMs) as reward models. However, without careful prompt engineering, these approaches tend to produce suboptimal rewards, where false positive predictions can severely degrade downstream policy learning. In robotics, limited datasets comprising expert demonstrations are often collected to bootstrap policy learning. This scenario provides an opportunity to optimize a reward model prior policy training. We propose Demo2Reward a test-time adaptation technique to optimize the language instruction of a reward model based on a few demonstrations (3-10 trajectories) to reduce false positives while preserving true positives. Crucially, this requires no additional model training or computation resources during policy learning. We show that Demo2Reward consistently outperforms existing zero- and few-shot VLM reward models across a range of simulated robotic tasks and policy backbones. Finally, we demonstrate that Demo2Reward effectively transfers to a real-world robotic learning scenario, enabling policy learning without manually engineering a reward function.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI