日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/群制御arXiv:2506.02849

追跡回避ゲームにおける俊敏なクアッドロータのための学習制御器

Learned Controllers for Agile Quadrotors in Pursuit-Evasion Games

シェア:XThreadsFacebookLINEはてブBluesky

強化学習で1対1のクアッドロータ追跡回避を訓練する際の非定常性や破滅的忘却に対処するため、PSROに基づく非同期多段階集団ベース訓練法AMSPBHを提案し、多様な戦略への汎化と新戦略の発見を実現した。

詳しい要約

1. どんなもの?

- 1v1 の quadrotor pursuit-evasion を reinforcement learning (RL) で解く研究 - pursuer と evader を互いに競わせて訓練する adversarial setting を扱う - 提案手法 AMSPBH (Asynchronous Multi-Stage Population-Based training with Hedge sampling) を提示 - Crazyflie brushless quadrotors での hardware 実験まで実施

2. 先行研究と比べてどこがすごい?

- 単一の最新 opponent とだけ訓練する方式と比較し、population-based training が多様・未見の戦略へより良く汎化することを示す - 従来の adversarial RL が抱える non-stationary 環境、catastrophic forgetting、strategy cycling / policy collapse に対処 - PSRO を quadrotor RL control 向けに適応させた点が新規 - 学習した population に多様な pursuit / evasion 行動が含まれることを示す

3. 技術・手法の肝は?

- Policy-Space Response Oracles (PSRO) を基盤に、過去に訓練した policy の population を維持 - 新 policy は単一 opponent ではなく population の mixture に対する approximate best response として訓練 - 各 generation で片方の agent を Proximal Policy Optimization (PPO) で訓練し、opponent policies は frozen - Hedge sampler が現時点で打ち勝つのが難しい opponent に高い確率を割り当てる - Asynchronous Multi-Stage な訓練構成を採用

4. どうやって有効だと検証した?

- (i) AMSPBH が新戦略を発見しつつ旧 opponent への competence を保持し、追加 best-response 訓練の改善が限られる regime に到達することを示す - (ii) 最新 opponent のみとの訓練と比較し、多様・未見戦略への汎化が良いことを示す - (iii) 学習 population に distinct な pursuit / evasion 行動が含まれることを示す - Crazyflie brushless quadrotors での hardware 実験で zero-shot sim-to-real transfer を確認 - handcrafted および learned adversaries に対し agile で reactive な pursuit-evasion を実現し、最大 4.87 m/s の飛行を達成

5. 議論はある?

- adversarial RL における non-stationarity、catastrophic forgetting、strategy cycling / policy collapse への対処が動機 - population-based training により戦略的多様性が得られ、弱点発見や controller robustness 向上に有用と主張 - 追加 best-response 訓練の改善が限られる regime の存在に言及 - 具体的な限界や失敗事例、計算コストの詳細は要旨からは不明

6. 次に読むべき論文は?

- Policy-Space Response Oracles (PSRO) - Proximal Policy Optimization (PPO) - Hedge sampling / Hedge algorithm - Population-Based Training (PBT) - 関連する adversarial RL や self-play による pursuit-evasion 研究(個別論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alejandro Sanchez Roncero, Yixi Cai, Olov Andersson, Petter Ogren

分類: cs.RO, cs.LG

原文アブストラクト

In this letter we study 1v1 quadrotor pursuit-evasion, where a pursuer and an evader are trained via reinforcement learning (RL) by competing against each other. Such adversarial settings face well-known challenges: each agent's policy changes during training, creating a non-stationary environment; agents might overfit to the current opponent and forget earlier strategies (catastrophic forgetting); and the competitive dynamics can cause strategy cycling or policy collapse. To address these issues, we propose Asynchronous Multi-Stage Population-Based training with Hedge sampling (AMSPBH), a method based on Policy-Space Response Oracles (PSRO) and adapted to quadrotor RL control. PSRO maintains a population of previously trained policies and trains new approximate best responses against mixtures of that population instead of against a single opponent. In AMSPBH, each generation trains one agent with Proximal Policy Optimization (PPO) against frozen opponent policies, while a Hedge sampler assigns higher probability to opponents that are currently difficult to beat. We show that: (i) AMSPBH discovers new strategies while retaining competence against older opponents, reaching a regime where additional best-response training gives limited improvement; (ii) compared to training against only the latest opponent, population-based training generalizes better across diverse and unseen strategies; and (iii) the learned population contains distinct pursuit and evasion behaviors, providing useful strategic diversity for finding weaknesses and improving controller robustness. We validate the trained policies with hardware experiments on Crazyflie brushless quadrotors, showing zero-shot sim-to-real transfer of agile, reactive pursuit-evasion behavior against both handcrafted and learned adversaries, with physical flights reaching up to 4.87 m/s.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI