日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2608.05588

探索支援型エージェント・環境協調強化学習による回転動作を考慮した頑健な生涯マルチエージェント経路探索

Search-Aided Joint Agent-Environment Reinforcement Learning for Robust Lifelong Multi-Agent Path Finding with Rotations

シェア:XThreadsFacebookLINEはてブBluesky

実世界の倉庫システムを模した回転制約付き生涯マルチエージェント経路探索問題に対し、探索ベースのプランナーと強化学習を組み合わせ、エージェントと環境のポリシーを同時に最適化する手法を提案した。

詳しい要約

1. どんなもの?

本研究は、実世界の自動倉庫システムに由来する、より現実的なLifelong Multi-Agent Path Finding (LMAPF)モデルであるLMAPF-R2を扱う。LMAPF-R2は、堅牢な安全制約とその場での回転制約を組み込んでおり、これによりエージェントの協調が困難になる。この課題に対し、Search-Aided Joint Reinforcement Learning (SJRL)を提案する。SJRLは、ニューラルポリシーを単一ステップの探索ベースプランナーであるCausal PIBTで強化し、エージェントと環境のポリシーを統合した強化学習(RL)フレームワークを導入する。環境ポリシーはグラフのエッジコストを学習し、後方Dijkstra探索による大域的な移動ガイダンスを提供する。

2. 先行研究と比べてどこがすごい?

既存の学習ベースのLMAPFプランナーの多くは、過度に単純化された運動学的仮定に依存しており、実世界の性能に重要な運動制約を見落としている。本研究は、回転制約と安全制約を明示的にモデル化したLMAPF-R2を導入し、より現実的な設定を扱う点が新しい。また、強力な探索ベースプランナーであるCausal-PIBTと比較して、高密度マップ上で大幅な改善を達成している。さらに、エージェントと環境のポリシーを共同で最適化する統合RLフレームワークを提案する点が、従来のエージェントのみのRLとは異なる。

3. 技術・手法の肝は?

SJRLの技術的な肝は、以下の3点である。(1) ニューラルポリシーにCausal PIBTを組み合わせ、単一ステップの探索で衝突を解決し、エージェントの意図を伝播させる。(2) エージェントと環境のポリシーを統合したRL定式化を導入し、環境ポリシーがグラフのエッジコストを学習して、後方Dijkstra探索による大域的な移動ガイダンスを提供する。(3) これにより、局所的な衝突回避と大域的な経路選択を協調させる。

4. どうやって有効だと検証した?

実験では、複数の高密度マップ上で、強力な探索ベースプランナーであるCausal-PIBTと比較して、SJRLが有意な改善を達成することを示した。さらに、8台の物理ロボットと248台の仮想ロボットを用いた挑戦的なmixed-reality倉庫環境でもSJRLを検証した。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、LMAPF-R2の制約が高密度空間での協調を困難にすること、SJRLがその課題に対処することを示している。また、mixed-reality環境での検証は、実世界への適用可能性を示唆するが、スケーラビリティや一般化に関する議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されているCausal-PIBT、および関連する学習ベースのLMAPFプランナー、強化学習を用いたマルチエージェント経路探索の研究が挙げられる。具体的には、Causal-PIBTの元となったPIBT (Priority Inheritance with Backtracking)や、LMAPFの学習ベース手法、および環境ポリシーを学習する手法に関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: He Jiang, Jingtian Yan, Yulun Zhang, Yimin Tang, Tanishq Duhan, Rishi Veerapaneni, Guillaume Sartoretti, Jiaoyang Li

分類: cs.RO, cs.AI, cs.MA

原文アブストラクト

Lifelong Multi-Agent Path Finding (LMAPF) requires repeatedly planning collision-free paths for agents that continuously receive new goals upon reaching their current ones. While many learning-based planners have been proposed for LMAPF, most rely on oversimplified kinematic assumptions that may overlook motion constraints critical to real-world performance. In this work, we study a more realistic LMAPF model derived from many real-world automated warehouse systems, termed LMAPF-R2, which incorporates robust safety constraints and in-place rotation constraints. These constraints substantially increase coordination difficulty, particularly in highly constrained spaces. To address these challenges, we propose Search-Aided Joint Reinforcement Learning (SJRL). We first augment neural policies with Causal PIBT, a single-step search-based planner that resolves agents' collisions and propagates their intentions. We then introduce a unified RL formulation that jointly optimizes agent and environment policies, where the environment policy learns graph edge costs to provide global movement guidance via backward Dijkstra search. Experiments demonstrate that SJRL achieves significant improvements over the strong search-based planner, Causal-PIBT, across multiple high-density maps. We further validate SJRL in a challenging mixed-reality warehouse environment with 8 physical robots and 248 virtual robots.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI