日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント強化学習arXiv:2506.01538

LAMARL: LLM支援による協調方策生成のためのマルチエージェント強化学習

LAMARL: LLM-Aided Multi-Agent Reinforcement Learning for Cooperative Policy Generation

シェア:XThreadsFacebookLINEはてブBluesky

LLMを使って事前方策と報酬関数を自動生成し、マルチエージェント強化学習のサンプル効率とタスク達成率を大幅に改善する手法を提案。形状組み立てタスクで実機検証も行った。

詳しい要約

1. どんなもの?

- 複数ロボットの協調タスク向けに、LLM と MARL を統合した LAMARL を提案する研究 - 目的は MARL の低い sample efficiency と手動 reward tuning の負担を軽減すること - 2 モジュール構成 - 第1: LLM が prior policy と reward function を自動生成 - 第2: MARL が生成物をガイドにロボット方策を学習 - shape assembly benchmark で simulation と real-world の両実験を実施

2. 先行研究と比べてどこがすごい?

- 従来 MARL は sample efficiency が低く、反復的な手動 reward tuning が必要 - LLM 活用は single-robot 設定で有望視されるが、multi-robot 系での応用はほぼ未開拓 - LAMARL は手動設計なしで MARL に LLM を統合し sample efficiency を改善 - ablation で prior policy が sample efficiency を平均 185.9% 向上し、task completion も改善 - CoT ベースの structured prompts と basic APIs により LLM 出力成功率が 28.5%–67.5% 向上

3. 技術・手法の肝は?

- 第1モジュール: LLM により prior policy と reward function の生成を完全自動化 - 第2モジュール: 生成された関数をガイドとして MARL でロボット方策を訓練 - プロンプト設計の肝 - Chain-of-Thought (CoT) に基づく structured prompts - basic APIs の利用 - これらが LLM 出力の成功率を高める仕組みとして寄与

4. どうやって有効だと検証した?

- shape assembly benchmark 上で評価 - simulation 実験と real-world 実験の両方を実施し LAMARL の利点を示す - ablation studies を実施 - prior policy の有無で sample efficiency と task completion を比較 - CoT ベース structured prompts と basic APIs の効果を LLM 出力成功率で比較 - 詳細な評価指標・被験ロボット数などは要旨からは不明

5. 議論はある?

- 要旨からは不明 - 明示されている範囲では、prior policy の寄与とプロンプト設計の効果が議論の中心 - 限界や失敗事例、real-world のばらつき等の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として次を検討 - LLM を用いた single-robot 向け reward/policy 生成研究 - 標準的な MARL アルゴリズム(例: QMIX, MAPPO など同分野の定番) - Chain-of-Thought (CoT) prompting と structured prompts の研究 - shape assembly benchmark を用いた協調ロボット研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guobin Zhu, Rui Zhou, Wenkang Ji, Shiyu Zhao

分類: cs.RO, cs.AI

原文アブストラクト

Although Multi-Agent Reinforcement Learning (MARL) is effective for complex multi-robot tasks, it suffers from low sample efficiency and requires iterative manual reward tuning. Large Language Models (LLMs) have shown promise in single-robot settings, but their application in multi-robot systems remains largely unexplored. This paper introduces a novel LLM-Aided MARL (LAMARL) approach, which integrates MARL with LLMs, significantly enhancing sample efficiency without requiring manual design. LAMARL consists of two modules: the first module leverages LLMs to fully automate the generation of prior policy and reward functions. The second module is MARL, which uses the generated functions to guide robot policy training effectively. On a shape assembly benchmark, both simulation and real-world experiments demonstrate the unique advantages of LAMARL. Ablation studies show that the prior policy improves sample efficiency by an average of 185.9% and enhances task completion, while structured prompts based on Chain-of-Thought (CoT) and basic APIs improve LLM output success rates by 28.5%-67.5%. Videos and code are available at https://windylab.github.io/LAMARL/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI