多目的方策最適化のための適応的スムーズ・チェビシェフ注意機構

ロボティクス領域の multi-objective reinforcement learning (MORL) において、非凸な Pareto front の領域でも安定して解を発見するための Adaptive Smooth Tchebycheff フレームワークを提案する研究。conflict-driven controller により最適化景観の曲率を動的に調整し、目的が一致するときは精密な非線形 scalarization に、勾配衝突が生じるときは滑らかな近似に戻す。stealth visual search タスクで検証。

- linear scalarization は安定だが理論的に非凸 Pareto front 領域の解を回復できない - static non-linear scalarization (例: Tchebycheff) は理論的に非凸領域に到達可能だが、deep RL では勾配分散と最適化不安定性が深刻 - 提案法はこのトレードオフを解消し、linear baseline では到達不能、static non-linear では不安定な非凸領域で Pareto-optimal policy を頑健に発見できる

- Adaptive Smooth Tchebycheff フレームワークを提案 - 最適化景観の曲率を動的に変調 - conflict-driven controller を導入し、リアルタイムの勾配干渉に基づいて最適化の滑らかさを調整 - 目的が整合するときは精密な非凸 scalarization へ徐々に移行 (anneal) - 破壊的な勾配衝突が生じると弾性的に安定で滑らかな近似へ戻す

- ロボティクス領域の challenging な stealth visual search タスクで検証 - 保護/脆弱な生態系のモニタリングの代理タスク - エージェントは search、exposure/interference minimization、exploration speed のバランスを取る必要がある - 広範な ablation により、conflict-aware adaptation が非凸領域での Pareto-optimal policy の頑健な発見を可能にすることを確認

要旨からは不明

要旨で参照/比較されている研究: linear scalarization、static non-linear scalarization (Tchebycheff)。関連手法として multi-objective reinforcement learning (MORL)、Pareto front、deep RL の最適化安定性に関する研究が挙げられる。