日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
強化学習ベンチマークarXiv:2505.10010

ImagineBench：大規模言語モデルのロールアウトを用いた強化学習の評価ベンチマーク

ImagineBench: Evaluating Reinforcement Learning with Large Language Model Rollouts

シェア:XThreadsFacebookLINEはてブBluesky

LLMが生成した仮想経験（imaginary rollouts）と実環境のロールアウトを併用するオフライン強化学習アルゴリズムを評価する初のベンチマークを提案し、既存手法の課題と今後の研究方向を示した。

詳しい要約

1. どんなもの？

- どんなもの？ - LLMが生成するsynthetic experience（imaginary rollouts）と実環境のreal rolloutsを併用するoffline RLアルゴリズムを評価する初の包括的benchmark「ImagineBench」 - 主な特徴 - 環境収集rolloutとLLM-imaginary rolloutを含むdataset - locomotion・robotic manipulation・navigationにまたがる多様な環境domain - 複雑度の異なる自然言語task instructionによるlanguage-conditioned policy learning - codeはhttps://github.com/LAMDA-RL/ImagineBenchで公開

2. 先行研究と比べてどこがすごい？

- 先行研究と比べてどこがすごい？ - 近年LLMがsynthetic experienceを生成し新規taskを習得できることが示されているが、この分野には標準benchmarkが無く進展の妨げになっていた - ImagineBenchは、real rolloutsとLLM-imaginary rolloutsの両方を活用するoffline RLアルゴリズムを評価する初のcomprehensive benchmarkである点が新規 - 単一環境ではなくlocomotion・robotic manipulation・navigationの多domainと、複雑度別の自然言語instructionを備える点で先行評価基盤より広範

3. 技術・手法の肝は？

- 技術や手法の肝はどこ？ - benchmark設計の肝 - datasetに環境収集rolloutとLLM-imaginary rolloutの両方を収録 - locomotion・robotic manipulation・navigationの多様なdomainを網羅 - 複雑度レベルの異なる自然言語task instructionを付与しlanguage-conditioned policy learningを可能にする - 評価の肝 - state-of-the-art offline RLアルゴリズムを体系的に評価 - 個々のアルゴリズムの内部設計やLLM rollout生成手順の詳細は要旨からは不明

4. どうやって有効だと検証した？

- どうやって有効だと検証した？ - state-of-the-art offline RLアルゴリズムをImagineBench上で体系的に評価 - 結果 - 既存offline RLをそのまま適用するとunseen taskでsuboptimal - hard taskのsuccess rateは35.44%に対し、real rolloutsで学習した手法は64.37% - この結果からLLM-imaginary rolloutsをより良く活用するアルゴリズムの必要性を示した

5. 議論はある？

- 議論はある？ - 既存offline RLの単純適用ではunseen task性能が不十分で、LLM-imaginary rollouts活用のアルゴリズム改良が必要という課題を提示 - 今後の研究機会として以下を挙げる - imaginary rolloutsのより良い活用 - fast online adaptationとcontinual learning - multi-modal taskへの拡張 - 具体的な失敗要因の分析や限界の詳細は要旨からは不明

6. 次に読むべき論文は？

- 次に読むべき論文は？ - LLMがsynthetic experience（imaginary rollouts）を生成し新規taskを習得することを示した先行研究（要旨で参照、個別名は要旨からは不明） - ImagineBenchで評価されたstate-of-the-art offline RLアルゴリズム（個別名は要旨からは不明） - 関連する定番手法としてoffline RLのCQL、IQL、TD3+BC、Decision Transformerなど - language-conditioned policy learning関連の定番研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jing-Cheng Pang, Kaiyuan Li, Yidi Wang, Si-Hang Yang, Shengyi Jiang, Yang Yu

分類: cs.LG

原文アブストラクト

A central challenge in reinforcement learning (RL) is its dependence on extensive real-world interaction data to learn task-specific policies. While recent work demonstrates that large language models (LLMs) can mitigate this limitation by generating synthetic experience (noted as imaginary rollouts) for mastering novel tasks, progress in this emerging field is hindered due to the lack of a standard benchmark. To bridge this gap, we introduce ImagineBench, the first comprehensive benchmark for evaluating offline RL algorithms that leverage both real rollouts and LLM-imaginary rollouts. The key features of ImagineBench include: (1) datasets comprising environment-collected and LLM-imaginary rollouts; (2) diverse domains of environments covering locomotion, robotic manipulation, and navigation tasks; and (3) natural language task instructions with varying complexity levels to facilitate language-conditioned policy learning. Through systematic evaluation of state-of-the-art offline RL algorithms, we observe that simply applying existing offline RL algorithms leads to suboptimal performance on unseen tasks, achieving 35.44% success rate in hard tasks in contrast to 64.37% of method training on real rollouts for hard tasks. This result highlights the need for algorithm advancements to better leverage LLM-imaginary rollouts. Additionally, we identify key opportunities for future research: including better utilization of imaginary rollouts, fast online adaptation and continual learning, and extension to multi-modal tasks. Our code is publicly available at https://github.com/LAMDA-RL/ImagineBench.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →