長いコンテキスト長での拡散ポリシーの訓練と評価

- 本研究は、Imitation Learning における Diffusion Policies の context length を長くする効果を体系的に調査したものである。 - 短い context から長い context まで段階的に増やし、局所安定性や記憶要求が異なる複数のタスクで性能をベンチマークした。 - 複数のデータレジームで評価し、長い context の学習に必要なサンプル複雑度を削減する訓練アルゴリズムも提案している。 - さらに、既存の長文脈 Imitation Learning の解決策を再評価している。

- 従来、Diffusion Policies の context length を単純に増やすと性能が不安定になると主張されていた。 - 本研究は、適切な conditioning 手法と denoising backbone (UNet+Cross-Attention) を用いれば、通常のデータレジームでも naive scaling で高い成功率が得られることを示し、先行主張に反論した。 - また、複数の context length で同時に訓練するアルゴリズムを提案し、長文脈学習のサンプル複雑度をさらに削減できる点が新しい。

- 適切な conditioning 手法と denoising backbone として UNet+Cross-Attention を採用。 - context length を段階的に増やして policy を訓練し、性能を評価するベンチマークを実施。 - 複数の context length で同時に訓練するアルゴリズムを提案し、長文脈学習のサンプル効率を改善。 - 既存の長文脈 Imitation Learning 手法を再評価するために、本研究の知見を適用。

- 局所安定性と記憶要求が異なる複数のタスクで、context length を短から長へ段階的に増やして policy 性能をベンチマーク。 - 複数のデータレジームで評価を実施。 - 提案する同時訓練アルゴリズムの有効性を、サンプル複雑度の観点から検証。 - 既存手法の再評価も行い、有効性を確認。

- 従来の「context length を単純に増やすと脆い」という主張に反し、適切な手法では naive scaling でも高性能が得られることを示した。 - 長文脈学習のサンプル複雑度を削減する同時訓練アルゴリズムの有効性を議論。 - 既存の長文脈 Imitation Learning 解決策の再評価を行い、その限界や有効性について議論。 - ただし、具体的な議論の詳細や限界については要旨からは不明。

- 要旨で参照/比較されている研究は明示されていないが、関連手法として Diffusion Policies、Imitation Learning、長文脈 Imitation Learning の既存解決策が挙げられる。 - 同分野の定番として、Behavior Cloning、Transformer-based Policies、Decision Transformer などが考えられる。