AdaCred: 特徴量クレジット付き適応的因果決定トランスフォーマー
AdaCred: Adaptive Causal Decision Transformers with Feature Crediting
短い行動・報酬・状態系列から因果グラフを構築し、重要度の低い表現を枝刈りしながら適応的に制御方策を学習する手法を提案。オフライン強化学習と模倣学習で従来法を上回る性能を示した。
著者: Hemant Kumawat, Saibal Mukhopadhyay
分類: cs.LG, cs.RO
原文アブストラクト
Reinforcement learning (RL) can be formulated as a sequence modeling problem, where models predict future actions based on historical state-action-reward sequences. Current approaches typically require long trajectory sequences to model the environment in offline RL settings. However, these models tend to over-rely on memorizing long-term representations, which impairs their ability to effectively attribute importance to trajectories and learned representations based on task-specific relevance. In this work, we introduce AdaCred, a novel approach that represents trajectories as causal graphs built from short-term action-reward-state sequences. Our model adaptively learns control policy by crediting and pruning low-importance representations, retaining only those most relevant for the downstream task. Our experiments demonstrate that AdaCred-based policies require shorter trajectory sequences and consistently outperform conventional methods in both offline reinforcement learning and imitation learning environments.
関連論文
- FaST: オフライン強化学習のための遷移の因子分解合成オフライン強化学習
- 拡散ポリシーで誘導する拡散プランナーによるオフライン強化学習オフライン強化学習
- MAC-v2: ピクセル入力からの長期的モデルベース価値展開オフライン強化学習
- タスク認識表現を備えたDecision Transformerによるオフライン・メタ強化学習オフライン強化学習
- 効率的な拡散オフライン強化学習のための合成的平均速度モデリングオフライン強化学習
- 対話制約付きオフライン強化学習による自動運転オフライン強化学習
