日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
強化学習/報酬設計arXiv:2509.16136

グラフ思考による報酬進化：強化学習のための二段階言語モデルフレームワーク

Reward Evolution with Graph-of-Thoughts: A Bi-Level Language Model Framework for Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

LLMとVLMを組み合わせ、タスクをグラフ構造で分解して報酬関数を自動生成・改良する強化学習フレームワークを提案し、複数のロボット操作タスクで成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- 強化学習(RL)の報酬関数設計を自動化する枠組み - 名称は Reward Evolution with Graph-of-Thoughts (RE-GoT) - LLM と VLM を組み合わせた bi-level フレームワーク - 目的は人手による報酬設計と反復改善の負担軽減 - 人間フィードバックなしでの報酬進化を狙う - 対象は複数ステップの複雑なロボティクスタスク - RoboGen と ManiSkill2 で評価

2. 先行研究と比べてどこがすごい？

- 先行研究は LLM による自動報酬設計を試みるものが中心 - しかし hallucination、人間フィードバック依存、複雑な多段タスクへの弱さが課題 - RE-GoT は構造化された graph-based reasoning を LLM に付与 - さらに VLM による自動 rollout 評価を統合 - 結果として人間介入なしの反復改善を実現 - RoboGen で平均成功率 +32.25%、ManiSkill2 で平均 93.73% - 既存 LLM ベース手法を上回り、専門家設計報酬も超える場合があると報告

3. 技術・手法の肝は？

- bi-level 構成のフレームワーク - 第1段階でタスクを text-attributed graph に分解 - グラフ構造の推論により報酬関数を生成 - 第2段階で VLM の視覚フィードバックを用いて報酬を反復的に洗練 - 人間の介入を必要としない rollout 評価 - 肝は Graph-of-Thoughts による構造化推論と VLM 評価の統合 - hallucination 抑制と複雑タスクへの対応を狙う設計

4. どうやって有効だと検証した？

- 10 個の RoboGen タスクと 4 個の ManiSkill2 タスクで実験 - 既存の LLM ベース baseline と比較 - RoboGen で平均タスク成功率が 32.25% 改善 - 複雑な多段タスクで特に大きな向上 - ManiSkill2 の 4 つの manipulation タスクで平均成功率 93.73% - 先行 LLM ベース手法を大きく上回る - 専門家設計の報酬を超える結果も報告

5. 議論はある？

- 著者は LLM と VLM に graph-of-thoughts 推論を組み合わせることで - スケーラブルで効果的な自律報酬進化が可能と主張 - 課題として先行手法の hallucination や人間フィードバック依存を挙げる - RE-GoT がそれらをどの程度定量的に緩和したかの詳細は要旨からは不明 - 失敗事例、計算コスト、VLM 評価の信頼性、汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照/比較されている LLM ベースの自動報酬設計手法 - 具体的な論文名は要旨からは不明 - 関連する基盤技術として以下を挙げて読むのが妥当 - Large Language Models (LLMs) を用いた reward design - Visual Language Models (VLMs) による rollout 評価 - Graph-of-Thoughts 推論 - 評価環境の関連研究 - RoboGen - ManiSkill2

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changwei Yao, Xinzi Liu, Chen Li, Marios Savvides

分類: cs.RO

原文アブストラクト

Designing effective reward functions remains a major challenge in reinforcement learning (RL), often requiring considerable human expertise and iterative refinement. Recent advances leverage Large Language Models (LLMs) for automated reward design, but these approaches are limited by hallucinations, reliance on human feedback, and challenges with handling complex, multi-step tasks. In this work, we introduce Reward Evolution with Graph-of-Thoughts (RE-GoT), a novel bi-level framework that enhances LLMs with structured graph-based reasoning and integrates Visual Language Models (VLMs) for automated rollout evaluation. RE-GoT first decomposes tasks into text-attributed graphs, enabling comprehensive analysis and reward function generation, and then iteratively refines rewards using visual feedback from VLMs without human intervention. Extensive experiments on 10 RoboGen and 4 ManiSkill2 tasks demonstrate that RE-GoT consistently outperforms existing LLM-based baselines. On RoboGen, our method improves average task success rates by 32.25%, with notable gains on complex multi-step tasks. On ManiSkill2, RE-GoT achieves an average success rate of 93.73% across four diverse manipulation tasks, significantly surpassing prior LLM-based approaches and even exceeding expert-designed rewards. Our results indicate that combining LLMs and VLMs with graph-of-thoughts reasoning provides a scalable and effective solution for autonomous reward evolution in RL.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →