日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.31273

生存強化学習:スケーラブルな自己教師ありRLに向けて

Survival Reinforcement Learning: Toward Scalable Self-Supervised RL

シェア:XThreadsFacebookLINEはてブBluesky

自己教師ありの対比強化学習の限界を克服するため、目標状態での滞在時間を最大化する分類ベースの生存価値学習フレームワークを提案し、長期的な移動タスクで既存手法を2〜8倍上回る性能を達成した。

詳しい要約

1. どんなもの?

- 自己教師あり強化学習の新手法 **Survival Reinforcement Learning (SRL)** を提案。 - オンラインの分類ベース手法で、**survival value learning** を拡張し、目標地点での滞在時間 (dwell time) を最大化する。 - ロボティクスの多様なベンチマークで評価し、操作タスクでは **CRL** と同等、長期ホライズンの移動タスクでは 2〜8 倍の性能を達成。 - 分類ベース手法が強化学習のスケーリングにおける主要プリミティブになり得ることを示唆。

2. 先行研究と比べてどこがすごい?

- 先行の **Contrastive Reinforcement Learning (CRL)** は 64 層超の深いネットワークでスケール可能だが、contrastive loss の **uniformity-tolerance dilemma** により長期ホライズンの goal-conditioned planning が苦手。 - SRL は CRL の構造的制約を回避し、さらに survival framework 特有の **bang-bang control** 解を緩和。 - 結果として、操作タスクで CRL と同等、安定した長期移動タスクで CRL を 2〜8 倍上回る。

3. 技術・手法の肝は?

- **オンライン分類ベース**の強化学習手法。 - **survival value learning** を拡張し、エージェントが目標地点に留まる時間 (dwell time) を最大化するように学習。 - CRL の contrastive loss に起因する **uniformity-tolerance dilemma** を回避。 - survival framework で生じやすい **bang-bang control** を緩和する仕組みを導入。

4. どうやって有効だと検証した?

- 多様な **robotic benchmarks** で評価。 - 操作タスクでは **state-of-the-art CRL** と同等の性能。 - 安定した長期ホライズンの移動タスクでは CRL を **2x から 8x** 上回る。 - 具体的なベンチマーク名や評価指標は要旨からは不明。

5. 議論はある?

- SRL は CRL の構造的制約を回避し、survival framework の **bang-bang control** を緩和する点が議論の焦点。 - 分類ベース手法が強化学習のスケーリングにおける主要プリミティブになり得るという主張。 - 限界や今後の課題、他のタスクへの一般化については要旨からは不明。

6. 次に読むべき論文は?

- **Contrastive Reinforcement Learning (CRL)** の代表的研究(例: 自己教師あり CRL のスケーリング論文)。 - **survival value learning** の原論文。 - **goal-conditioned planning** や **long-horizon locomotion** に関する強化学習研究。 - 分類ベース強化学習のスケーリングに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Franki Nguimatsia-Tiofack, Fabian Schramm, Théotime Le Hellard, Justin Carpentier

分類: cs.LG

原文アブストラクト

While self-supervised Contrastive Reinforcement Learning (CRL) has shown remarkable depth-scaling capabilities, successfully using networks over 64 layers, scaled CRL still struggles with long-horizon goal-conditioned planning due to the uniformity-tolerance dilemma inherent in contrastive losses. We introduce Survival Reinforcement Learning (SRL), an online classification-based alternative that extends the survival value learning framework by maximizing the agent's dwell time at target goals. SRL bypasses the structural constraints of CRL and mitigates the "bang-bang" control solutions inherent to survival frameworks, which often induce undesirable behavior in complex dynamical systems. Evaluated across diverse robotic benchmarks, scaled SRL matches state-of-the-art CRL on manipulation tasks and outperforms it by 2x to 8x on stable, long-horizon locomotion tasks. Our results provide strong additional evidence that classification-based methods may serve as a key primitive in the broader effort to scale reinforcement learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI