日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マルチエージェント強化学習arXiv:2610.37926

GARDEN: 証拠ナビゲーションによる汎用自律報酬設計

GARDEN: Generalist Autonomous Reward Design Through Evidence Navigation for Cooperative Multi-Agent Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

LLMが環境コードや訓練記録を調査して報酬プログラムを設計し、未見の協調マルチエージェント環境へそのまま転移できる汎用的な報酬設計手法を提案した論文。

詳しい要約

1. どんなもの？

- Cooperative multi-agent reinforcement learning (MARL) のための報酬関数を LLM で自動設計する手法 GARDEN の提案。 - 関連するシナリオ群に対して1つの報酬プログラムを開発し、設計時に存在しなかった未見シナリオへ変更なしで転移することを目指す。 - 対象はロボットや自動運転車などのチーム協調学習。

2. 先行研究と比べてどこがすごい？

- 従来は中間報酬を人手で設計し、環境やチームが変わるたびに再設計が必要だった。 - LLM による報酬コード自動生成の先行手法は単一設定での設計・検証に留まっていた。 - GARDEN は1つの報酬を関連シナリオ族にわたり再利用・転移できる点が異なる。 - 固定 diagnostic feedback や Eureka-inspired reward reflection を同一の候補・probe 予算で上回った。

3. 技術・手法の肝は？

- LLM reward engineer が environment code、training records、agent behavior を調査する Evidence Navigation を実施。 - 草案報酬を trial training runs でテストし、反復的に報酬プログラムを開発。 - 学習アルゴリズムと最終報酬を選ぶ規則は固定し、報酬設計のみを自動化。 - 設計時に未見のシナリオへ報酬を unchanged で転移。

4. どうやって有効だと検証した？

- Overcooked と SMAX の未見シナリオで評価。 - Overcooked の2つの kitchen layout で default rewards 比 +58.2%。 - SMAX の2つの combat scenarios で平均勝率が 51.0% から 89.9% へ向上。 - 同一の候補・probe 予算下で fixed diagnostic feedback の 84.2%、Eureka-inspired reward reflection の 79.2% を上回った。

5. 議論はある？

- 単一の自律設計報酬が関連する協調シナリオ間で有効に再利用できることを示唆。 - 比較は限られたベンチマークと予算設定に基づく。 - 報酬設計の一般化可能性や他環境への拡張性についての詳細は要旨からは不明。

6. 次に読むべき論文は？

- Eureka-inspired reward reflection - fixed diagnostic feedback を用いる報酬設計手法 - Overcooked および SMAX ベンチマーク - Cooperative multi-agent reinforcement learning (MARL) における LLM ベース報酬生成の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dogan Urgun

分類: cs.AI, cs.MA, eess.SY

原文アブストラクト

Cooperative multi-agent reinforcement learning (MARL) enables teams of agents, such as robots and autonomous vehicles, to learn coordinated behavior, but what such teams learn is largely determined by their reward function. Because task success alone provides too little guidance for learning, intermediate rewards are usually designed by hand, and this effort must often be repeated whenever the environment or the team changes. Large language models (LLMs) can automate the effort by writing reward functions as code, yet the resulting rewards are typically designed and tested in a single setting. To enable their reuse across settings, GARDEN (Generalist Autonomous Reward Design through Evidence Navigation) is proposed, in which one reward program is developed for a family of related scenarios and transferred, unchanged, to scenarios that were not available during its design. During development, environment code, training records, and agent behavior are investigated by an LLM reward engineer, and draft rewards are tested in trial training runs, while the learning algorithm and the rule for selecting the final reward are held fixed. On unseen scenarios of the Overcooked and SMAX benchmarks, task returns were increased by 58.2% and 52.5% over the default rewards on two kitchen layouts, and the mean win rate in two combat scenarios was raised from 51.0% to 89.9%. Under matched candidate and probe budgets, this exceeded the 84.2% and 79.2% obtained with fixed diagnostic feedback and Eureka-inspired reward reflection. These results show that a single autonomously engineered reward can be reused effectively across related cooperative scenarios.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →