日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2512.00915

対称性が部分的に破れる環境における部分同変強化学習

Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments

シェア:XThreadsFacebookLINEはてブBluesky

対称性が局所的にしか成り立たない環境向けに、対称な箇所だけ群同変ベルマン更新を適用するPI-MDPを提案し、PE-DQNとPE-SACとして実装してサンプル効率と汎化性能を向上させた。

詳しい要約

1. どんなもの?

- 強化学習(RL)における群対称性の活用を扱う研究 - 実環境では完全な group-invariant MDP は稀で、局所的な symmetry-breaking が生じる - 局所的な破れが group-invariant Bellman backup により全 state-action 空間へ誤差伝播する問題を指摘 - 対称性が成立する箇所のみ group-invariant backup を適用する Partially group-Invariant MDP(PI-MDP)を提案 - 実装として PE-DQN(離散制御)と PE-SAC(連続制御)を提示

2. 先行研究と比べてどこがすごい?

- 従来は group-invariant MDP を前提に group-invariant Bellman backup を用いる手法が主流 - 本研究は完全な対称性を仮定せず、局所的な symmetry-breaking を明示的に扱う点が新しい - 全状態で対称性を強制すると誤差が全体に伝播するのに対し、選択的適用で誤差伝播を抑える - equivariance の利点(sample efficiency・generalizability)を維持しつつ symmetry-breaking への頑健性を両立 - 離散・連続両制御に対応する実用手法(PE-DQN, PE-SAC)を提示

3. 技術・手法の肝は?

- Partially group-Invariant MDP(PI-MDP)を定式化 - 対称性が成立する領域では group-invariant Bellman backup を適用 - 対称性が破れている領域では標準 Bellman backup を適用 - これにより局所的な symmetry-breaking からの誤差伝播を抑制 - この枠組みを基に PE-DQN(離散制御)と PE-SAC(連続制御)を構築 - equivariance の利点と symmetry-breaking への頑健性を組み合わせる設計

4. どうやって有効だと検証した?

- Grid-World、locomotion、manipulation の各ベンチマークで実験 - PE-DQN と PE-SAC をベースラインと比較 - 両手法がベースラインを大きく上回る結果 - 選択的な対称性活用が頑健かつ sample-efficient な RL に重要であることを示唆 - 詳細な実験設定・指標は要旨からは不明

5. 議論はある?

- 局所的な symmetry-breaking 下での group-invariant backup の誤差伝播を議論 - 対称性の成立箇所を選択的に活用する必要性を主張 - 完全な group-invariant MDP 仮定の現実的限界(dynamics, actuation limits, reward design)を指摘 - 選択的対称性活用が頑健性と sample efficiency に寄与すると結論 - 限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- group-invariant MDP を用いた対称性活用 RL(equivariant RL)の代表的先行研究 - group-invariant Bellman backup に関する研究 - PE-DQN の基盤となる DQN - PE-SAC の基盤となる SAC - 対称性を活用する locomotion・manipulation ベンチマーク関連研究 - 要旨で明示的に参照されている個別論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junwoo Chang, Minwoo Park, Joohwan Seo, Roberto Horowitz, Jongmin Lee, Jongeun Choi

分類: cs.LG, cs.RO

原文アブストラクト

Group symmetries provide a powerful inductive bias for reinforcement learning (RL), enabling efficient generalization across symmetric states and actions via group-invariant Markov Decision Processes (MDPs). However, real-world environments almost never realize fully group-invariant MDPs; dynamics, actuation limits, and reward design usually break symmetries, often only locally. Under group-invariant Bellman backups for such cases, local symmetry-breaking introduces errors that propagate across the entire state-action space, resulting in global value estimation errors. To address this, we introduce Partially group-Invariant MDP (PI-MDP), which selectively applies group-invariant or standard Bellman backups depending on where symmetry holds. This framework mitigates error propagation from locally broken symmetries while maintaining the benefits of equivariance, thereby enhancing sample efficiency and generalizability. Building on this framework, we present practical RL algorithms -- Partially Equivariant (PE)-DQN for discrete control and PE-SAC for continuous control -- that combine the benefits of equivariance with robustness to symmetry-breaking. Experiments across Grid-World, locomotion, and manipulation benchmarks demonstrate that PE-DQN and PE-SAC significantly outperform baselines, highlighting the importance of selective symmetry exploitation for robust and sample-efficient RL. Project page: https://pranaboy72.github.io/perl_page/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI