日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.27180

視覚言語モデルのガイダンスによるポテンシャルベース報酬整形の自動化

Automating Potential-based Reward Shaping with Vision Language Model Guidance

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)のフィードバックを用いてポテンシャル関数を学習し、報酬整形を自動化するフレームワークVLM-PBRSを提案した。スパース報酬環境での学習を加速しつつ、最適方策を保持することを実証した。

詳しい要約

1. どんなもの?

- 強化学習におけるsparse reward問題に対処するため、Vision Language Model (VLM) のフィードバックからpotential functionを学習するVLM-PBRSフレームワークを提案。 - Potential-based reward shaping (PBRS) を自動化し、専門家によるreward shapingの設計を不要にする。 - 軽量VLMを用いて画像ペアの選好を取得し、その選好からpotential functionを学習する。

2. 先行研究と比べてどこがすごい?

- 従来のPBRSはheuristic potential functionの定義が必要だったが、VLM-PBRSはVLMフィードバックから直接学習するため、専門家設計が不要。 - 大規模VLMは計算コストが高いが、小規模VLMでも選好ラベルが不正確ながら学習加速に有効であることを示した。 - 既存のreward shaping手法と異なり、PBRSの理論的保証(最適政策集合の保存)を維持しつつ、reward hackingを回避。

3. 技術・手法の肝は?

- 軽量VLMに画像ペアをクエリし、選好(preference)を取得。 - その選好を用いてpotential functionのモデルを訓練。 - 学習されたpotential functionをPBRSに組み込み、元の最適政策を保存しつつ探索を促進。 - 計算効率のため、大規模VLMではなく小規模VLMを採用。

4. どうやって有効だと検証した?

- Meta-WorldとFranka Kitchen環境で実験的に検証。 - VLM選好ラベルの精度とサンプル効率の改善の関係を明らかにした。 - サンプル効率の向上とreward hackingに対する堅牢性を実証。

5. 議論はある?

- 小規模VLMの選好ラベルは不正確であるが、それでも学習加速に寄与することを経験的に示した。 - VLM選好ラベルの精度とサンプル効率改善の関連性を強調。 - 計算コストと性能のトレードオフについて議論の余地がある。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Potential-based reward shaping (PBRS)、Vision Language Model (VLM) を用いた報酬設計、preference-based learning などが挙げられる。 - 同分野の定番として、Ng et al. (1999) のPBRS、Christiano et al. (2017) の人間の選好からの強化学習、その後のVLMを活用した報酬生成研究が読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Henrik Müller, Daniel Kudenko

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Sparse rewards are inherently challenging for reinforcement learning agents as they lack intermediate feedback to guide exploration and to correctly attribute the sparse success rewards to relevant parts of the trajectory. Naive reward shaping can induce reward hacking, yielding policies that exploit auxiliary signals instead of solving the intended task. Potential-based reward shaping (PBRS) guarantees preservation of the optimal policy set, but requires the definition of a heuristic potential function over the state space. In this work, we introduce the VLM-guided PBRS framework VLM-PBRS that learns the potential function directly from vision language model (VLM) feedback. We query a lightweight VLM to obtain preferences over image pairs and train a model of the potential function using these preferences. As this approach is based on potential-based reward shaping, it preserves the original optimal policies, and removes the need for expert-designed reward shaping terms. Because large VLMs are prohibitively expensive to invoke repeatedly during policy learning, we employ smaller, more computationally efficient VLMs. Although the resulting preference labels are less accurate, empirical evidence shows that the preference labels can still be used to accelerate learning. We validate our method empirically in the Meta-World and Franka Kitchen environments and highlight the connection between VLM preference label accuracy and sample efficiency improvements. Our contributions are threefold: (1) the first application of VLM preference-based learning to synthesize a potential function for PBRS, (2) a principled, low-cost solution that leverages small VLMs, and (3) extensive empirical demonstration of improved sample efficiency and robustness to reward hacking.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI