日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

群制御arXiv:2608.04905

PRIMAL3: 強化学習と模倣学習によるマルチエージェント経路探索 - LaCAM3を活用した大規模フレームワーク

PRIMAL3: Pathfinding via Reinforcement and Imitation Multi-Agent Learning - Leveraging LaCAM3

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、強化学習と模倣学習を統合した大規模マルチエージェント経路探索フレームワークPRIMAL3を提案し、ボトルネックや行き止まりなどの重要な状態でのエージェント間の協調を改善する。

詳しい要約

1. どんなもの?

PRIMAL3は、強化学習、トポロジー認識通信、LaCAM3ガイド付きトレーニング、PIBTベースの行動洗練を統合した、超大規模マルチエージェント経路探索(MAPF)のための学習ベースのフレームワークです。ボトルネック、行き止まり、持続的な競合などのトポロジー的に重要な状態でのエージェントの調整を対象とし、カット頂点、行き止まり領域、最短経路距離、ブロッキング推定から特徴を抽出します。エージェント間の相互作用を捉えるために、同じ方向の追従グラフと異なる方向の競合グラフの2つの補完的なグラフを使用します。トレーニング中は、ポリシーのエントロピーで不確実なエージェントを特定し、LaCAM3が介入と模倣ターゲットを提供します。実行時には、優先度認識PIBTモジュールが衝突のない実行を維持しながら行動を洗練します。推論時にLaCAM3を必要としません。

2. 先行研究と比べてどこがすごい?

既存の学習ベースのMAPF手法と比較して、PRIMAL3は超大規模(最大10万エージェント)の都市規模インスタンスにスケーリングできる点で優れています。また、トポロジー的に重要な状態に焦点を当て、LaCAM3によるガイド付きトレーニングとPIBTによる行動洗練を組み合わせることで、学習ベースの探索と構造化された専門家のガイダンスを統合し、最先端の学習ベースのベースラインを大幅に上回る性能を達成しています。さらに、物理ロボットシステムへの展開可能性も実証されています。

3. 技術・手法の肝は?

手法の核は、(1) カット頂点や行き止まり領域などのトポロジー特徴を用いたエージェント表現、(2) 同じ方向の追従グラフと異なる方向の競合グラフによるマルチホップコンテキストの伝播とマスクドアテンションを用いた競合の識別、(3) ポリシーのエントロピーに基づく不確実なエージェントの特定とLaCAM3による信頼度トリガー介入およびラベル平滑化模倣ターゲット、(4) 実行時の優先度認識PIBTモジュールによる行動洗練です。これにより、推論時にLaCAM3を必要とせず、学習と専門家の知識を効果的に組み合わせています。

4. どうやって有効だと検証した?

実験では、最先端の学習ベースのベースラインと比較してPRIMAL3が大幅に優れていることを示し、最大10万エージェントの都市規模のインスタンスにスケーリングできることを実証しました。また、物理ロボットシステムへの展開可能性を実世界実験で示し、各コンポーネントの貢献を検証するためのアブレーション研究も実施しました。

5. 議論はある?

要旨からは、PRIMAL3の限界や潜在的な欠点についての議論は不明です。ただし、学習ベースの手法であるため、訓練時の計算コストや、LaCAM3の介入に依存するトレーニングプロセスの複雑さが課題となる可能性があります。また、物理ロボット実験の規模や詳細は要旨からは不明です。

6. 次に読むべき論文は?

要旨で参照されているLaCAM3、PIBT、および関連する学習ベースのMAPF手法(例:PRIMAL2)が次に読むべき論文として挙げられます。また、MAPF分野の定番であるConflict-Based Search (CBS)やPriority-Based Search (PBS)も関連します。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengyang He, Tanishq Duhan, Gadiel Sznaier Camps, Fangyuan Wang, Yuhong Cao, Jiankai Sun, Ge Sun, Mac Schwager, Guillaume Sartoretti

分類: cs.RO

原文アブストラクト

We present PRIMAL3, an ultra-large-scale learning-based framework for multi-agent pathfinding (MAPF) that integrates reinforcement learning, topology-aware communication, LaCAM3-guided training, and PIBT-based action refinement. PRIMAL3 targets failures at topologically critical states, where agents must coordinate decisively around bottlenecks, dead ends, and persistent conflicts. Each agent is represented using features derived from cut vertices, dead-end regions, shortest-path distances, and blocking estimates. Two complementary graphs capture agent interactions: a same-direction following graph propagates multihop context along compatible paths, while a different-direction conflict graph differentiates agents competing for shared space through masked attention and relative features. During training, we propose to let policy entropy identify uncertain agents, for which LaCAM3 provides confidence-triggered action interventions and label-smoothed imitation targets. During execution, a priority-aware PIBT module refines the proposed joint actions using persistent, learned, and distance-aware priorities together with policy-aware fallback preferences while maintaining collision-free execution. The resulting framework combines learned exploration with structured expert guidance without requiring LaCAM3 at inference. Experiments demonstrate that PRIMAL3 substantially outperforms state-of-the-art learning-based baselines and scales to ultra-large instances with up to city-level 100,000 agents. Real-world experiments further demonstrate the feasibility of deploying PRIMAL3 on physical robotic systems and ablation studies validate the individual contributions the components we proposed. Project page: https://marmotlab.github.io/PRIMAL3/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI