日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2507.16139

同変目標条件付きコントラスティブ強化学習

Equivariant Goal Conditioned Contrastive Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

目標条件付き操作タスクの回転対称性を活用し、同変制約を導入したコントラスティブ強化学習を提案。サンプル効率と空間汎化を改善し、オフライン設定にも拡張。

詳しい要約

1. どんなもの?

- 強化学習の表現学習フレームワークである Contrastive Reinforcement Learning (CRL) を拡張した Equivariant CRL (ECRL) を提案する研究。 - 回転対称性を持つ goal-conditioned なロボット操作タスクを対象に、潜在空間へ equivariant 制約を導入する。 - 報酬設計なしで有用な構造化表現を学習し、方策獲得を目指す。

2. 先行研究と比べてどこがすごい?

- 従来の CRL は state-action と将来 state を引き寄せ、負例を遠ざけることで表現を学習するが、対称性は明示的に活用しない。 - ECRL は回転対称性というタスク固有の構造を潜在空間に組み込み、sample efficiency と spatial generalization を改善する点が新しい。 - 具体的な優位性の数値は要旨からは不明。

3. 技術・手法の肝は?

- Goal-Conditioned Group-Invariant MDPs を定式化し、回転対称な操作タスクを特徴づける。 - その上で rotation-invariant な critic 表現と rotation-equivariant な actor を組み合わせた CRL を構成する。 - これにより latent space が equivariant 制約で構造化される。

4. どうやって有効だと検証した?

- 複数の simulated tasks において、state-based と image-based の両設定で strong baselines を一貫して上回ることを示す。 - さらに offline RL 設定へ拡張し、複数タスクで有効性を確認する。 - 具体的なベンチマーク名や指標は要旨からは不明。

5. 議論はある?

- 回転対称性を前提とするため、対象タスクの対称性仮定や一般性に関する議論が想定されるが、要旨からは不明。 - offline RL への拡張の詳細や限界も要旨からは不明。

6. 次に読むべき論文は?

- 基盤となる Contrastive Reinforcement Learning (CRL) の原論文。 - equivariant な方策・表現学習に関する研究(equivariant RL / group-invariant MDP 関連)。 - goal-conditioned RL および offline RL の代表的手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arsh Tangri, Nichols Crawford Taylor, Haojie Huang, Robert Platt

分類: cs.RO, cs.LG

原文アブストラクト

Contrastive Reinforcement Learning (CRL) provides a promising framework for extracting useful structured representations from unlabeled interactions. By pulling together state-action pairs and their corresponding future states, while pushing apart negative pairs, CRL enables learning nontrivial policies without manually designed rewards. In this work, we propose Equivariant CRL (ECRL), which further structures the latent space using equivariant constraints. By leveraging inherent symmetries in goal-conditioned manipulation tasks, our method improves both sample efficiency and spatial generalization. Specifically, we formally define Goal-Conditioned Group-Invariant MDPs to characterize rotation-symmetric robotic manipulation tasks, and build on this by introducing a novel rotation-invariant critic representation paired with a rotation-equivariant actor for Contrastive RL. Our approach consistently outperforms strong baselines across a range of simulated tasks in both state-based and image-based settings. Finally, we extend our method to the offline RL setting, demonstrating its effectiveness across multiple tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI