D-SPEAR: ロボット操作における安定強化学習のための二重ストリーム優先経験適応リプレイ

- ロボティックマニピュレーション向けの強化学習における安定性向上を目的とした経験再生フレームワーク。 - 名称は D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay。 - actor と critic で異なるデータ要求を考慮し、共有バッファを持ちつつサンプリングを分離する。 - critic は prioritized replay、actor は low-error transitions を用いる。 - 適応的 anchor 機構と Huber ベースの critic 目的関数を導入。

- 従来の off-policy actor-critic アルゴリズム（SAC, TD3, DDPG）は simulation では良好だが、実環境で policy oscillations や performance collapse を起こしやすい。 - その一因として、actor と critic のデータ要求の違いを無視した experience replay 戦略が挙げられる。 - D-SPEAR は actor と critic のサンプリングを分離することで、最終性能と訓練安定性の両方でこれらのベースラインを一貫して上回る。 - アブレーション研究で actor 側と critic 側の replay ストリームの相補的役割を確認。

- 共有 replay buffer を維持しつつ、actor と critic で異なるサンプリング戦略を採用する dual-stream 構造。 - critic は prioritized replay により効率的な価値学習を行う。 - actor は low-error transitions を用いて policy optimization を安定化させる。 - 適応的 anchor 機構が TD errors の coefficient of variation に基づき uniform と prioritized sampling のバランスを調整。 - Huber ベースの critic 目的関数により異種報酬スケール下での robustness を向上。

- robosuite benchmark の挑戦的なロボティックマニピュレーションタスク（Block-Lifting と Door-Opening）で評価。 - 強力な off-policy ベースライン（SAC, TD3, DDPG）と比較。 - 最終性能と訓練安定性の両方で一貫して優位性を示す。 - アブレーション研究により actor 側と critic 側の replay ストリームの相補的役割を確認。

- 要旨からは、具体的な議論や限界についての記述は不明。 - ただし、actor と critic のデータ要求の違いを考慮することの重要性が示唆されている。 - 適応的 anchor 機構や Huber 目的関数の有効性がアブレーションで確認されている。

- SAC (Soft Actor-Critic) - TD3 (Twin Delayed DDPG) - DDPG (Deep Deterministic Policy Gradient) - prioritized experience replay - robosuite benchmark