ATRS: 共有ニューラルポリシーによる適応的軌道再分割と並列最適化

長期的な運動計画を並列に解くための枠組み ATRS を提案する論文。ADMM による並列 trajectory optimization において、固定構造の分解では制約の厳しい領域で一部の subproblem が停滞し全体の収束を遅らせる問題に対し、共有 Deep Reinforcement Learning policy を並列 ADMM ループに埋め込み、停滞した segment をオンラインで適応的に再分割する。

既存の並列 trajectory optimization は事前定義された固定構造で subproblem に分解するため、停滞領域で最適化が停滞しやすい。ATRS はいつ・どこで・どのように分割するかを rule-based heuristics ではなく学習で決める点が新しい。また parameter-sharing により size invariance を持ち、再分割中の segment 数の動的変化や任意長の trajectory に対応できる。環境の幾何特徴ではなく solver の内部状態のみに依存するため、未見環境への zero-shot generalization も可能とする。

適応的調整を Multi-Agent Shared-Policy Markov Decision Process として定式化し、全 trajectory segment を homogeneous agent とみなし unified neural policy network を共有する。この parameter-sharing が size invariance を生み、動的な segment 数の変化や任意長への一般化を可能にする。solver 安定性のため Confidence-Based Election mechanism を導入し、各ステップで最も停滞している segment のみを再分割対象に選ぶ。

Extensive simulations により、ATRS が収束を加速し、反復回数を最大 26.0%、計算時間を最大 19.1% 削減することを示す。さらに real-world experiments で、大規模オフライン global planning と 1 サイクル 35 ms 以内のリアルタイム onboard replanning の両方に適用可能であり、sim-to-real degradation がないことを確認している。

要旨からは不明。ただし、rule-based heuristics では分割の判断が困難であること、solver 安定性のために Confidence-Based Election で最も停滞した segment のみを選ぶ設計が示されている。

要旨で参照・比較されている研究として、ADMM による並列 trajectory optimization、Alternating Direction Method of Multipliers (ADMM)、Deep Reinforcement Learning、Multi-Agent Shared-Policy Markov Decision Process が挙げられる。関連手法として、rule-based heuristics による分割、固定構造の並列分解、zero-shot generalization を扱う研究が次に読むべき候補となる。