平均電力予算制約下での水中ビークル制御：制約付き強化学習によるアプローチ

本論文は、水中ビークルの制御を対象に、平均推力電力に明示的な予算制約を課す constrained Markov decision process (CMDP) として定式化し、PPO-Lagrangian で解く手法を提案する。 - 目的は、タスク達成度を保ちつつ消費電力を抑え、ミッション航続距離と耐久性を延ばすこと。 - 従来の energy penalty を報酬から引く方法と異なり、物理単位で電力予算を指定できる。 - MarineGym simulator 上で 3 車両・4 タスクの計 12 設定を評価。

従来の model-free RL はタスク精度のみを最適化すると振動的で電力浪費的な操作になりやすい。 - 報酬から energy penalty を引く既存の対策は、単一の重みでタスクと電力のトレードオフを決めるため物理単位の目標電力を指定できない。 - 車両やタスクごとに重みを再調整する必要があり、重みが不適切だと電力が増えることさえある。 - 提案法は平均推力電力に明示的な予算制約を課し、物理単位で予算を宣言でき、手動の重み探索が不要。 - 12 設定すべてで最小電力を達成し、task-only baseline 比で 14–65% (最大 64.9%) 削減、energy-reward baseline よりも常に低電力。

エネルギー効率の良い水中制御を constrained Markov decision process (CMDP) として定式化する。 - 平均推力電力に明示的な budget 制約を課す。 - PPO-Lagrangian アルゴリズムで解く。 - 電力レベルは物理単位の budget を宣言して設定する。 - 単一の dual variable をオンライン更新することで、各車両・各タスクで budget を満たす。 - 手動の weight search を必要としない。

MarineGym simulator 上で 3 車両・4 タスクの計 12 設定を評価。 - energy-constrained policy は 12 設定すべてで最小電力を達成。 - task-only baseline 比で 14–65% (最大 64.9%) の電力削減。 - energy-reward baseline よりもすべての設定で低電力。 - 10 設定で最も滑らかな操作を実現。 - 意図的に電力制限した 1 つの regime を除き、タスク精度を維持。

エネルギーを明示的な制約として課すことで、車両ごと・タスクごとの重み探索が不要な、チューニングフリーのエネルギー効率的水中制御が可能になる。 - ただし、意図的に電力制限した 1 つの regime ではタスク精度が維持されない。 - その他の限界や議論は要旨からは不明。

要旨で参照・比較されている研究として、energy penalty を報酬から引く既存手法、task-only baseline、energy-reward baseline が挙げられる。 - 関連手法として PPO-Lagrangian、constrained Markov decision process (CMDP)、MarineGym simulator が挙げられる。 - 同分野の定番として model-free reinforcement learning による station-keeping や trajectory tracking の研究が関連する。