報酬で視線を導く：リターン誘導コントラスト学習による視覚的注意の形成

- Visual Reinforcement Learning (RL) において、画像中のタスクに関係する少数のピクセルに注意を向けるための学習可能な foveal attention mechanism（Gaze）を導入するフレームワーク。 - 人間の視覚における foveation に着想を得て、エージェントの経験から得られる自己教師あり信号（より高い return を追求する過程）で attention を誘導する。 - 既存の RL アルゴリズムやハイパーパラメータを変更せずに visual RL を拡張する。

- 高次元画像入力ではタスク関連ピクセルが僅かで、無関係な特徴に探索・計算資源を浪費し sample efficiency と安定性が低下する問題に対処。 - 人間の foveation に着想を得た learnable foveal attention を return 由来の自己教師あり信号で訓練する点が特徴。 - 最大 2.52x の sample efficiency 改善、および baseline が学習できない ManiSkill3 の難タスクを解決。 - 具体的な先行研究との比較は要旨からは不明。

- return の差が重要度を示すという洞察に基づき、類似表現でも結果が異なればその識別特徴がタスク関連とみなし gaze を向ける。 - return-guided contrastive learning により、成功・失敗に関連する特徴を区別するよう attention を訓練。 - 類似した視覚表現を return 差に基づき positives / negatives にグループ化し、contrastive triplets を構築。 - この triplets が、異なる結果に対応する状態に対して識別可能な表現を attention が生成するよう訓練信号を与える。

- 最大 2.52x の sample efficiency 改善を報告。 - baseline が学習できない ManiSkill3 benchmark の難タスクを、基盤アルゴリズムやハイパーパラメータを変更せずに解決できることを示した。 - 具体的な実験設定・比較手法の詳細は要旨からは不明。

- return 差に基づく positives / negatives のグループ化や contrastive triplets 構築の妥当性・限界についての議論は要旨からは不明。 - foveal attention がどの程度汎化するか、他 benchmark での挙動は要旨からは不明。

- ManiSkill3 benchmark に関する研究。 - return-guided contrastive learning や contrastive triplets を用いた visual RL の関連手法。 - foveal attention / foveation に着想を得た visual RL 研究。 - 要旨で明示的に参照されている個別論文はないため、上記は関連領域の一般名として挙げる。