日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.01721

CoRe: 視覚言語モデルフィードバックを用いた選好整合強化学習のための複合報酬

CoRe: Combined Rewards with Vision-Language Model Feedback for Preference-Aligned Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

強化学習における報酬設計の課題に対し、タスク知識に基づく形式的報酬と観測から学習する残差報酬を、視覚言語モデルのフィードバックで統合するハイブリッドフレームワークCoReを提案し、人間の介入なしに選好整合的なポリシー学習を実現した。

詳しい要約

1. どんなもの?

CoReは、強化学習(RL)における報酬設計の問題に対処するハイブリッドフレームワークである。報酬を、タスク知識に基づいて明示的に設計されるFormal Rewards (FR)と、観察から学習され暗黙的で微妙な選好を捉えるResidual Rewards (RR)の2つの補完的要素に分解する。Vision-Language Models (VLMs)のフィードバックを利用して、人間の関与なしに選好に整合したポリシーを学習する。具体的には、FRを反復的に設計・最適化するFormal Reward Module (FRM)と、ビデオレベルの選好からRRを学習するResidual Reward Module (RRM)を提案する。

2. 先行研究と比べてどこがすごい?

従来の手設計報酬は仕様が難しく、準最適なポリシーにつながる可能性がある。また、選好から学習された報酬は非効率で訓練が不安定になることがある。CoReは、明示的なタスク知識(FR)と暗黙的な選好(RR)を組み合わせることで、これらの問題を緩和する。さらに、VLMsを活用して報酬設計と選好ラベル生成を自動化し、人間のフィードバックを必要としない点が新しい。

3. 技術・手法の肝は?

手法の核は、報酬をFRとRRに分解し、それぞれを別々のモジュールで扱う点にある。FRMはVLMsを用いてタスク知識と選好フィードバックに基づきFRを反復的に設計・最適化する。RRMはVLMsが生成したビデオレベルの選好ラベルからRRを学習し、FRを補完する微妙な報酬を捉える。FRMとRRMの相乗効果により、効率的で選好に整合した報酬を自動構築する。

4. どうやって有効だと検証した?

シミュレーションにおける10のロボット操作タスクと、実世界の5つのタスクで実験を行い、ポリシー学習の有効性と効率の両面で既存手法を上回ることを示した。

5. 議論はある?

要旨からは、分解の理論的根拠や各モジュールの詳細な設計、限界についての議論は不明。また、VLMsのフィードバックの品質や、実世界での一般化に関する考察も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、報酬学習や選好に基づくRLの分野の定番として、Preference-based RL (e.g., PEBBLE)やReward Learning from Human Feedback (RLHF)に関する論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hexian Ni, Tao Lu, Yinghao Cai

分類: cs.RO

原文アブストラクト

Reward design remains a central challenge in reinforcement learning (RL). Hand-crafted rewards are often difficult to specify and may lead to suboptimal policies, while learned rewards from preferences can suffer from inefficiency and unstable training. Inspired by the dual nature of human learning explored in cognitive science, we decompose rewards into two complementary components: Formal Rewards (FR), explicitly designed based on task knowledge, and Residual Rewards (RR), learned from observations to capture implicit and nuanced preferences. Based on this decomposition, we propose CoRe, a hybrid framework that integrates FR and RR with vision-language models (VLMs) feedback to achieve preference-aligned policies without human involvement. Our contributions are twofold: (1) We propose a Formal Reward Module (FRM) that leverages VLMs to iteratively design and optimize FR based on task knowledge and preference feedback, enabling the continual improvement of policy during training; (2) We introduce a Residual Reward Module (RRM) that learns RR from video-level preference by employing VLMs to generate preference labels and capturing nuanced rewards that complement FR, ensuring alignment with human intent. Through the synergy of FRM and RRM, CoRe enables the automatic construction of reliable rewards that are efficient and preference-aligned. Extensive experiments demonstrate that CoRe outperforms existing approaches in terms of policy learning effectiveness and efficiency on ten robotic manipulation tasks in simulation and five real-worlds. Videos can be found on our project website: https://core-2026.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI