テスト時マルチエージェント協調のための分解価値勾配フロー

- オフラインMARLにおける表現力と価値最適化のトレードオフを解決するSCOUTを提案。 - 生成基盤モデルと学習済み価値関数をテスト時アクションリファインメントで統合。 - 初のオフラインMARLフレームワークで、flow-matching behavioral priorとdecomposed value functionを分離訓練。 - テスト時にStein variational gradient descentで行動サンプルを高価値領域へ輸送。 - 輸送ステップ数が適応的テスト時スケーリングを制御し、固定正則化係数を置換。

- 従来の生成的ポリシーは多峰性調整を表現できるが高価値領域を識別できない。 - 価値最適化ポリシーはQ関数を活用するが多峰性を単一支配モードに崩壊させる。 - SCOUTは両者をテスト時リファインメントで統合し、モード崩壊を回避しつつ高価値領域を探索。 - 単一エージェントのモード崩壊が共同調整を破壊する問題に対処。 - 同時ドリフトによる未見行動空間への逸脱を防ぐ。

- 二つの分離コンポーネント：flow-matching behavioral priorとdecomposed value functionを訓練。 - テスト時にStein variational gradient descentで行動サンプルを高価値領域へ輸送。 - 輸送ステップ数が適応的テスト時スケーリングを制御。 - IGM原理の下で、輸送収束に伴い消滅する単一項KL boundを証明。 - 既約加算残差はIGM違反に比例。

- 離散および連続オフラインMARLベンチマークで最高平均性能を達成。 - すべてのオフライン-to-オンライン構成で性能改善を示す。 - 理論的保証：IGM下でのKL boundと残差の比例性を証明。

- 理論的保証はIGM原理に依存し、IGM違反が残差に影響。 - 輸送ステップ数による適応的スケーリングの有効性を実証。 - モード崩壊と未見領域へのドリフトを同時に解決する枠組みを提供。 - 要旨からは計算コストやスケーラビリティの詳細は不明。

- 要旨で参照/比較されている研究：オフラインMARLにおける生成的ポリシー、価値最適化ポリシー、flow-matching、Stein variational gradient descent、IGM原理。 - 関連手法：Q-learning、behavior cloning、generative adversarial imitation learning。 - 同分野の定番：MADDPG、QMIX、BCQ、CQL。