日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント強化学習arXiv:2511.18181

MOMA-AC: 選好駆動型アクター・クリティックによる連続多目的マルチエージェント強化学習

MOMA-AC: A preference-driven actor-critic framework for continuous multi-objective multi-agent reinforcement learning

シェア:XThreadsFacebookLINEはてブBluesky

連続状態・行動空間の多目的マルチエージェント強化学習向けに、選好条件付けと集中型クリティックを組み合わせたアクター・クリティック枠組みを提案し、TD3/DDPGに適用して協調歩行タスクで有効性を示した。

詳しい要約

1. どんなもの?

- 連続状態・連続行動空間における MOMARL (Multi-Objective Multi-Agent Reinforcement Learning) のための初の専用 inner-loop actor-critic フレームワーク MOMA-AC (Multi-Objective Multi-Agent Actor-Critic) を提案する論文。 - 単一目的・単一エージェントのアルゴリズムを基に TD3 と DDPG を適用し、MOMA-TD3 と MOMA-DDPG を構成する。 - 単一の neural network で、競合する目的間の全エージェントの最適トレードオフ方策の Pareto front を符号化することを目指す。

2. 先行研究と比べてどこがすごい?

- 従来の MOMARL には連続状態・行動空間向けの専用 inner-loop actor-critic フレームワークが存在せず、このギャップを埋める最初の試みと位置づけられる。 - outer-loop ベースラインおよび independent training ベースラインに対し、expected utility と hypervolume で統計的に有意な改善を示す。 - エージェント数増加に対する安定したスケーラビリティも示す。

3. 技術・手法の肝は?

- multi-headed actor network、centralised critic、objective preference-conditioning architecture を組み合わせる。 - preference-conditioning により、単一の neural network で全エージェントの Pareto front を表現する。 - 基盤アルゴリズムとして TD3 と DDPG を用い、それぞれ MOMA-TD3、MOMA-DDPG として実装する。

4. どうやって有効だと検証した?

- 既存の multi-agent 単一目的 physics simulator と、その multi-objective 単一エージェント版を組み合わせ、連続 MOMARL の test suite を構成する。 - この test suite で協調 locomotion タスクを評価する。 - expected utility と hypervolume を指標に、outer-loop および independent training ベースラインと比較し、統計的有意性を確認する。 - エージェント数増加時のスケーラビリティも評価する。

5. 議論はある?

- 提案フレームワークは連続 MOMARL における堅牢でスケーラブルな多目的方策学習への基礎的ステップと位置づけられる。 - 評価は協調 locomotion タスクに限定されており、他タスク種別への一般化については要旨からは不明。 - 計算コストやサンプル効率、エージェント数増加時の限界については要旨からは不明。

6. 次に読むべき論文は?

- 基盤アルゴリズムである TD3 (Twin Delayed Deep Deterministic Policy Gradient) と DDPG (Deep Deterministic Policy Gradient)。 - 比較対象である outer-loop 手法および independent training ベースラインに関する研究。 - 単一エージェント多目的 RL の preference-conditioning 手法。 - 評価に用いた multi-agent 単一目的 physics simulator とその multi-objective 単一エージェント版。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Adam Callaghan, Karl Mason, Patrick Mannion

分類: cs.LG, cs.AI

原文アブストラクト

This paper addresses a critical gap in Multi-Objective Multi-Agent Reinforcement Learning (MOMARL) by introducing the first dedicated inner-loop actor-critic framework for continuous state and action spaces: Multi-Objective Multi-Agent Actor-Critic (MOMA-AC). Building on single-objective, single-agent algorithms, we instantiate this framework with Twin Delayed Deep Deterministic Policy Gradient (TD3) and Deep Deterministic Policy Gradient (DDPG), yielding MOMA-TD3 and MOMA-DDPG. The framework combines a multi-headed actor network, a centralised critic, and an objective preference-conditioning architecture, enabling a single neural network to encode the Pareto front of optimal trade-off policies for all agents across conflicting objectives in a continuous MOMARL setting. We also outline a natural test suite for continuous MOMARL by combining a pre-existing multi-agent single-objective physics simulator with its multi-objective single-agent counterpart. Evaluating cooperative locomotion tasks in this suite, we show that our framework achieves statistically significant improvements in expected utility and hypervolume relative to outer-loop and independent training baselines, while demonstrating stable scalability as the number of agents increases. These results establish our framework as a foundational step towards robust, scalable multi-objective policy learning in continuous multi-agent domains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI