DAGR: 状態条件付き目標表現と差分認識型目標クロスアテンション

DAGRは、Goal-conditioned reinforcement learningにおける目標表現を状態条件付きに洗練する手法を提案する。従来のcontrastive, metric, temporal-distance, information-theoreticエンコーダは状態に依存しない埋め込みを生成するが、DAGRは任意のlate-fusionエンコーダの静的埋め込みを、multi-scale gated cross-attentionを用いて状態条件付き表現に変換する。具体的には、near-identity gated residualでベース表現を保持しつつ、Difference-aware Goal Cross-Attentionがper-tokenの状態-目標間の不一致マップでattentionスコアを調整する。

先行研究の目標エンコーダはすべて状態非依存であり、現在の状態を考慮しないため、目標のどの部分が未達成かを明示できない。DAGRは、状態を明示的に組み込むことで、ポリシーがエンコーダを反転して手がかりを復元する必要を軽減する点が新しい。また、既存のエンコーダを置き換えるのではなく、その出力を構造的に洗練するモジュールとして機能する点も独自性がある。

手法の核心は、任意のlate-fusionエンコーダの出力を状態条件付きに変換するアーキテクチャにある。multi-scale gated cross-attentionを用いて、状態と目標のトークン間の相互作用をモデル化し、near-identity gated residualがベース表現を保持する。さらに、Difference-aware Goal Cross-Attentionは、状態と目標の各トークン間の不一致度を計算し、そのマップでattentionスコアをバイアスすることで、未達成の目標部分に焦点を当てる。

OGBenchベンチマークで評価し、ナビゲーションタスクにおいてDAGRがベースラインを改善することを示した。アブレーション研究により、性能向上は主にgated residualに起因し、difference bias自体の寄与は限定的であることを明らかにした。操作タスクやパズルタスクでは、ベースラインと同等かそれ以下の性能にとどまった。

DAGRは構造的な改良であり、普遍的な改善ではない。ナビゲーションでは有効だが、操作やパズルでは効果が限定的である。アブレーションの結果、手法名の由来であるdifference biasの効果が小さいことは、手法の設計意図と実証結果の乖離を示しており、さらなる分析が必要である。また、状態条件付き表現の利点がタスクの性質に依存する可能性が示唆される。

要旨で参照されているOGBenchベンチマークの論文、およびGoal-conditioned reinforcement learningにおける目標表現の比較研究（例: contrastive, metric, temporal-distance, information-theoretic encoders）を読むことが推奨される。