日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2606.30893

サンプリングに基づく協調情報を活用した多目的マルチロボット強化学習

Sampling-Based Coordination-Informed Multi-Objective Multi-Robot Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

複数の競合する目的を同時に最適化しつつ協調行動を維持するための、分散型の多目的強化学習フレームワークCIMORLを提案。訓練時に特権情報を用いるサンプリングベースの変種を導入し、実機ドローン実験で有効性を検証した。

詳しい要約

1. どんなもの?

- 複数ロボットが競合する目的を同時に最適化しつつ協調行動を維持する問題に対し、Coordination-Informed Multi-Objective Reinforcement Learning (CIMORL) フレームワークを提案。 - 分散型の重み予測機構、特権エキスパート訓練戦略、Pareto最適解の理論保証を統合。 - 基本CIMORLに加え、サンプリングベースのCIMORL-TS (Tree Search) とCIMORL-MPPI (MPPI) の2変種を提示。 - 訓練時のみ特権的グローバル情報を活用し、展開時は完全分散を実現。

2. 先行研究と比べてどこがすごい?

- 既存のマルチエージェント強化学習は固定または集中型の協調に依存し、適応性が低く分散制約に違反する。 - CIMORLは分散型重み予測と特権エキスパート訓練により、適応性と分散制約を両立。 - 協調・敵対シナリオでハイパーボリュームが21.2%改善し、ポリシー安定性も優れる。 - 部分観測下の実機Crazyflieドローン実験でリソース割当と多攻撃者多防御者シナリオの堅牢性を検証。

3. 技術・手法の肝は?

- 分散型重み予測機構:各エージェントが局所情報から目的間の重みを予測。 - 特権エキスパート訓練戦略:訓練時のみグローバル情報を持つエキスパートを活用。 - 理論的保証:Pareto最適解への収束を保証。 - サンプリングベース変種:CIMORL-TSはTree Search、CIMORL-MPPIはModel Predictive Path Integralを利用。 - 訓練後は完全分散展開が可能。

4. どうやって有効だと検証した?

- 協調および敵対シナリオでの実験的検証を実施。 - 最先端ベースラインと比較し、ハイパーボリュームが21.2%改善、ポリシー安定性が優れることを示す。 - 実世界実験:Crazyflieドローンを用い、部分観測下でのリソース割当と多攻撃者多防御者シナリオでフレームワークの堅牢性を検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法:マルチエージェント強化学習、マルチオブジェクティブ強化学習、Tree Search、Model Predictive Path Integral (MPPI)。 - 同分野の定番:MADDPG、QMIX、MO-MADDPGなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Antonio Marino, Esteban Restrepo, Soon-jo Chung, Paolo Robuffo Giordano, Claudio Pacchierotti

分類: cs.RO, cs.MA

原文アブストラクト

Multi-robot systems must simultaneously optimize competing objectives while maintaining coordinated behavior. Existing multi-agent reinforcement learning approaches often rely on fixed or centralized coordination, which limits adaptability and violates distributed constraints. This work introduces the Coordination-Informed Multi-Objective Reinforcement Learning (CIMORL) framework, integrating a distributed weight prediction mechanism, a privileged expert training strategy, and theoretical guarantees for Pareto-optimal solutions. We present the base CIMORL method alongside two sampling-based variants, CIMORL-TS (Tree Search) and CIMORL-MPPI (MPPI), which leverage privileged global information during training to enable fully decentralized deployment. Experimental validation in cooperative and adversarial scenarios demonstrates a $21.2\%$ hypervolume improvement and superior policy stability compared to state-of-the-art baselines. Real-world experiments with Crazyflie drones further validate the framework's robustness in resource allocation and multi-attacker multi-defend scenarios under partial observability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI