日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/ロボットマニピュレーションarXiv:2505.19769

TeViR: 拡散モデルによるテキストから動画への報酬生成で効率的な強化学習

TeViR: Text-to-Video Reward with Diffusion Models for Efficient Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

テキストから動画を生成する拡散モデルを使い、予測映像と現在の観測を比較して密な報酬を生成する強化学習手法を提案。11の複雑なロボット操作タスクでサンプル効率と性能を向上させた。

詳しい要約

1. どんなもの?

- ロボット操作向けの強化学習 (RL) における報酬設計手法 TeViR の提案 - 事前学習済みの text-to-video diffusion model を用い、テキスト指示から将来の画像列を生成 - 生成された予測画像列と現在の観測を比較することで dense reward を算出 - ground truth の環境報酬なしでエージェントを誘導する試み

2. 先行研究と比べてどこがすごい?

- 近年の Vision-Language Models (VLMs) を用いた報酬設計は有望だが sparse reward 性が強く sample efficiency を大きく制限 - TeViR は text-to-video diffusion model により dense reward を生成し、この疎報酬問題に対処 - 11 の複雑なロボットタスクで、sparse reward を用いる従来手法や他の SOTA 手法を上回ると報告 - ground truth 環境報酬なしでより良い sample efficiency と性能を達成

3. 技術・手法の肝は?

- 事前学習済み text-to-video diffusion model を報酬生成に活用 - テキスト指示に基づき将来の画像列を予測生成 - 予測画像列と現在の観測との比較から dense reward を計算 - この報酬で RL エージェントを誘導する枠組み

4. どうやって有効だと検証した?

- 11 の複雑なロボットタスクで実験 - sparse reward を用いる従来手法および他の SOTA 手法と比較 - sample efficiency と性能の両面で優位であることを示す - ground truth 環境報酬を用いずに評価を実施

5. 議論はある?

- 複雑環境でエージェントを効率的に誘導できる可能性を主張 - ロボット操作への RL 応用推進への貢献を示唆 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- Vision-Language Models (VLMs) を用いた報酬設計の先行研究 - text-to-video diffusion model の関連研究 - sparse reward を用いる従来の RL 手法との比較研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhui Chen, Haoran Li, Zhennan Jiang, Haowei Wen, Dongbin Zhao

分類: cs.RO, cs.AI

原文アブストラクト

Developing scalable and generalizable reward engineering for reinforcement learning (RL) is crucial for creating general-purpose agents, especially in the challenging domain of robotic manipulation. While recent advances in reward engineering with Vision-Language Models (VLMs) have shown promise, their sparse reward nature significantly limits sample efficiency. This paper introduces TeViR, a novel method that leverages a pre-trained text-to-video diffusion model to generate dense rewards by comparing the predicted image sequence with current observations. Experimental results across 11 complex robotic tasks demonstrate that TeViR outperforms traditional methods leveraging sparse rewards and other state-of-the-art (SOTA) methods, achieving better sample efficiency and performance without ground truth environmental rewards. TeViR's ability to efficiently guide agents in complex environments highlights its potential to advance reinforcement learning applications in robotic manipulation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI