日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

報酬設計arXiv:2603.01694

MVR: 強化学習のためのマルチビュー動画報酬整形

MVR: Multi-view Video Reward Shaping for Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

複数視点の動画と視覚言語モデルを用いて状態の関連性を学習し、タスク報酬とVLMガイダンスを統合する報酬整形フレームワークを提案。静的画像に基づく手法のバイアスを軽減し、複雑な動作を伴うタスクでの性能を向上させる。

詳しい要約

1. どんなもの?

- 強化学習の報酬設計を改善するMVR(Multi-View Video Reward Shaping)フレームワークを提案。 - 複数視点の動画を用いて、タスクに関連する状態の重要度を評価する。 - 凍結した事前学習済みVLM(Vision-Language Model)のvideo-text similarityを活用。 - 状態依存の報酬整形により、タスク固有報酬とVLMガイダンスを統合。 - 目標動作が達成されるとVLMガイダンスの影響を自動的に低減。

2. 先行研究と比べてどこがすごい?

- 従来はVLMスコアをタスク報酬に線形加算し、明示的な整形を行わず最適方策を歪める可能性があった。 - 単一の静的画像に依存する手法が多く、複数の視覚的に異なる状態を伴う動的動作に弱い。 - 単一視点ではエージェントの重要な側面が隠れる問題があった。 - MVRは複数視点の動画を用いることで、静的ポーズへのバイアスを軽減し、動的動作に対応。 - 状態依存の報酬整形により、VLMガイダンスの影響を適応的に調整。

3. 技術・手法の肝は?

- 凍結した事前学習済みVLMからvideo-text similarityを取得。 - 複数視点の動画を用いて、タスクに関連する状態の重要度を学習するstate relevance functionを構築。 - 画像ベース手法の静的ポーズバイアスを軽減。 - 状態依存の報酬整形定式を導入し、タスク固有報酬とVLMベースのガイダンスを統合。 - 目標動作パターンが達成されるとVLMガイダンスの影響を自動的に減少させる。

4. どうやって有効だと検証した?

- HumanoidBenchの困難なhumanoid locomotionタスクとMetaWorldのmanipulationタスクで広範な実験を実施。 - アブレーション研究により設計選択を検証。 - 提案フレームワークの有効性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- HumanoidBench - MetaWorld - VLM(Vision-Language Model)を用いた報酬設計に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lirui Luo, Guoxi Zhang, Hongming Xu, Yaodong Yang, Cong Fang, Qing Li

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Reward design is of great importance for solving complex tasks with reinforcement learning. Recent studies have explored using image-text similarity produced by vision-language models (VLMs) to augment rewards of a task with visual feedback. A common practice linearly adds VLM scores to task or success rewards without explicit shaping, potentially altering the optimal policy. Moreover, such approaches, often relying on single static images, struggle with tasks whose desired behavior involves complex, dynamic motions spanning multiple visually different states. Furthermore, single viewpoints can occlude critical aspects of an agent's behavior. To address these issues, this paper presents Multi-View Video Reward Shaping (MVR), a framework that models the relevance of states regarding the target task using videos captured from multiple viewpoints. MVR leverages video-text similarity from a frozen pre-trained VLM to learn a state relevance function that mitigates the bias towards specific static poses inherent in image-based methods. Additionally, we introduce a state-dependent reward shaping formulation that integrates task-specific rewards and VLM-based guidance, automatically reducing the influence of VLM guidance once the desired motion pattern is achieved. We confirm the efficacy of the proposed framework with extensive experiments on challenging humanoid locomotion tasks from HumanoidBench and manipulation tasks from MetaWorld, verifying the design choices through ablation studies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI