協調拡散：マルチエージェントデモなしでマルチエージェント行動を生成する

- 複数エージェントの協調行動を模倣学習で獲得する際、協調デモの収集コストが高い問題に対処。 - 単一エージェントのデモのみを用い、独立に訓練した単一エージェント diffusion policy をユーザ定義の multi-agent cost function で結合する Coordinated Diffusion (CoDi) を提案。 - 協調デモ不要で、二腕マニピュレーションタスクの simulation と hardware 実験で有効性を示す。

- 従来の multi-agent imitation learning は協調デモを必要とし、エージェント数増加で joint state-action space が指数爆発しデータ収集が極めて高コスト。 - CoDi は協調デモを一切使わず、単一エージェントのデモと cost function のみで協調行動を生成。 - multi-agent baseline より data-efficient であることを示した。

- 独立に訓練した単一エージェント diffusion policy を結合する新しい diffusion-based sampling scheme を導出。 - diffusion score function を、独立な単一エージェント pre-trained base policy と、それらを協調させる cost-driven guidance term に分解。 - guidance term を gradient-free に推定可能とし、black-box で non-differentiable な cost function にも追加訓練なしで適用可能。 - 単一エージェントデモは望ましい multi-agent 行動の support をカバーし、cost function はその積から望ましい行動を促進するという相補的役割を理論的・実証的に分析。

- simulation と hardware 実験の two-arm manipulation task で検証。 - CoDi が単一エージェントデータから robust な協調行動を発見し、multi-agent baseline より data-efficient であることを示す。 - joint guidance、base policy support、cost design の重要性を強調。

- この構成が目標とする multi-agent 行動を忠実に近似できる条件を理論的・実証的に分析。 - 単一エージェントデモと cost function の相補的役割を明らかにし、joint guidance、base policy support、cost design の重要性を議論。 - 具体的な限界や失敗ケースについては要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、単一エージェントの diffusion policy、imitation learning、multi-agent imitation learning、black-box optimization などが挙げられる。