EDGI: 身体性エージェントの計画のための同変拡散モデル
EDGI: Equivariant Diffusion for Planning with Embodied Agents
身体性エージェントの計画とモデルベース強化学習において、空間・時間・置換対称性を考慮した同変拡散モデルを提案し、サンプル効率と汎化性能を向上させた。
著者: Johann Brehmer, Joey Bose, Pim de Haan, Taco Cohen
分類: cs.LG, cs.RO, stat.ML
原文アブストラクト
Embodied agents operate in a structured world, often solving tasks with spatial, temporal, and permutation symmetries. Most algorithms for planning and model-based reinforcement learning (MBRL) do not take this rich geometric structure into account, leading to sample inefficiency and poor generalization. We introduce the Equivariant Diffuser for Generating Interactions (EDGI), an algorithm for MBRL and planning that is equivariant with respect to the product of the spatial symmetry group SE(3), the discrete-time translation group Z, and the object permutation group Sn. EDGI follows the Diffuser framework (Janner et al., 2022) in treating both learning a world model and planning in it as a conditional generative modeling problem, training a diffusion model on an offline trajectory dataset. We introduce a new SE(3)xZxSn-equivariant diffusion model that supports multiple representations. We integrate this model in a planning loop, where conditioning and classifier guidance let us softly break the symmetry for specific tasks as needed. On object manipulation and navigation tasks, EDGI is substantially more sample efficient and generalizes better across the symmetry group than non-equivariant models.
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考:世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット:行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
