日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

経路計画arXiv:2603.28385

不規則六角形グリッド上の海上被覆経路計画のための批評家不要の深層強化学習

Critic-Free Deep Reinforcement Learning for Maritime Coverage Path Planning on Irregular Hexagonal Grids

シェア:XThreadsFacebookLINEはてブBluesky

海上監視の被覆経路計画を六角形グリッド上の神経組合せ最適化として定式化し、Transformerベースのポインタ方策をGRPOで訓練することで、従来のヒューリスティクスを大幅に上回る性能を実現した。

詳しい要約

1. どんなもの?

- 海上監視ミッション(search and rescue, environmental monitoring)における効率的なセンシング資産配分を目的とした Coverage Path Planning (CPP) の新しい手法。 - 不規則な海岸線、島、排除区域を含む海上エリアを hexagonal grid で表現し、Deep Reinforcement Learning (DRL) で経路計画を行う。 - 問題を neural combinatorial optimization タスクとして定式化し、Transformer-based pointer policy が自己回帰的に coverage tour を構築する。 - 従来の decomposition ベース手法や再計画が高コストな手法に代わる、実時間オンボード展開可能な枠組みを提案。

2. 先行研究と比べてどこがすごい?

- 従来の CPP は decomposition 技術に依存し、不規則な海岸線や島、排除区域への対応が困難で、インスタンスごとに計算コストの高い再計画を要した。 - 提案手法は DRL により、そのような複雑な環境でも直接的に経路を生成でき、再計画不要で汎化可能。 - 実験では、学習済みポリシーが 99.1% の Hamiltonian success rate を達成し、最良のヒューリスティック(46.0%)の2倍以上。 - 経路長は最も近いヒューリスティックベースラインより 7% 短く、heading changes は最大 24.1% 少ない。 - 推論は greedy, stochastic sampling, sampling with 2-opt refinement の3モードすべてでラップトップ GPU 上 50 ms 未満/インスタンスを実現。

3. 技術・手法の肝は?

- hexagonal grid 上で CPP を neural combinatorial optimization として定式化。 - Transformer-based pointer policy が自己回帰的に coverage tour を構築。 - 長ホライズン routing 問題における value estimation の不安定性を克服するため、critic-free Group-Relative Policy Optimization (GRPO) を採用。 - GRPO は value function に頼らず、サンプルされた軌跡のインスタンス内比較を通じて advantage を推定する。

4. どうやって有効だと検証した?

- 1,000 の未見の合成海上環境で実験を実施。 - 学習済みポリシーが 99.1% の Hamiltonian success rate を達成し、最良のヒューリスティック(46.0%)を大幅に上回ることを確認。 - 経路長が最も近いヒューリスティックベースラインより 7% 短く、heading changes が最大 24.1% 少ないことを示した。 - 3つの推論モード(greedy, stochastic sampling, sampling with 2-opt refinement)すべてで、ラップトップ GPU 上 50 ms 未満/インスタンスの性能を確認。

5. 議論はある?

- 提案手法は実時間オンボード展開の feasibility を示すが、実世界の海上環境への適用や動的要素への対応については要旨からは不明。 - 合成環境での評価に留まっており、実データでの検証や他の CPP 手法との広範な比較は議論されていない。 - GRPO の critic-free アプローチが他の長ホライズン問題に汎用できるかは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として traditional Coverage Path Planning (CPP) の decomposition techniques、heuristic baselines、および Transformer-based pointer policy や Group-Relative Policy Optimization (GRPO) の原論文が挙げられる。 - 同分野の定番として、CPP における reinforcement learning アプローチや neural combinatorial optimization のサーベイ論文も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Carlos S. Sepúlveda, Gonzalo A. Ruz

分類: cs.LG, cs.AI, cs.NE, cs.RO

原文アブストラクト

Maritime surveillance missions, such as search and rescue and environmental monitoring, rely on the efficient allocation of sensing assets over vast and geometrically complex areas. Traditional Coverage Path Planning (CPP) approaches depend on decomposition techniques that struggle with irregular coastlines, islands, and exclusion zones, or require computationally expensive re-planning for every instance. We propose a Deep Reinforcement Learning (DRL) framework to solve CPP on hexagonal grid representations of irregular maritime areas. Unlike conventional methods, we formulate the problem as a neural combinatorial optimization task where a Transformer-based pointer policy autoregressively constructs coverage tours. To overcome the instability of value estimation in long-horizon routing problems, we implement a critic-free Group-Relative Policy Optimization (GRPO) scheme. This method estimates advantages through within-instance comparisons of sampled trajectories rather than relying on a value function. Experiments on 1,000 unseen synthetic maritime environments demonstrate that a trained policy achieves a 99.1% Hamiltonian success rate, more than double the best heuristic (46.0%), while producing paths 7% shorter and up to 24.1% fewer heading changes than the closest heuristic baseline. All three inference modes (greedy, stochastic sampling, and sampling with 2-opt refinement) operate under 50 ms per instance on a laptop GPU, confirming feasibility for real-time onboard deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI