日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.11473

TOPPO: クリティックバランシングによるマルチタスク強化学習のためのPPO再考

TOPPO: Rethinking PPO for Multi-Task Reinforcement Learning with Critic Balancing

シェア:XThreadsFacebookLINEはてブBluesky

マルチタスク強化学習におけるPPOの性能低下原因がクリティック側の勾配不良であることを特定し、勾配調整とタスク間学習バランスを改善するTOPPOを提案した。

詳しい要約

1. どんなもの?

- どんなもの? - Multi-Task Reinforcement Learning (MTRL) における Proximal Policy Optimization (PPO) の再定式化 - 名前は TOPPO (Tail-Optimized PPO) - Critic Balancing というモジュール群を導入 - 目的は critic 側の勾配条件の改善とタスク間の学習ダイナミクスのバランス - オンポリシー手法の MTRL における可能性を示す

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 従来の MTRL は Soft Actor-Critic (SAC) とその変種が支配的 - PPO などのオンポリシー手法は未探索 - TOPPO はモジュラーアーキテクチャや大規模モデルに頼らず、PPO 自体の最適化ボトルネックに対処 - Meta-World+ ベンチマークで SAC ファミリーや ARS ファミリーのベースラインより平均およびテールタスク性能で優位 - パラメータ数と環境ステップ数を大幅に削減

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - Critic Balancing というモジュール群を導入 - これにより critic 側の勾配条件を改善 - タスク間の学習ダイナミクスをバランス - 具体的には、PPO の critic 更新における勾配の ill-conditioning を診断し、テールタスクの停滞を防ぐ - 詳細なモジュール構成は要旨からは不明

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - Meta-World+ ベンチマークで評価 - 公開されている SAC ファミリーと ARS ファミリーのベースラインと比較 - 平均およびテールタスク性能で上回ることを確認 - トレーニング初期から強力な SAC ベースラインに匹敵または上回る - フルバジェットでも優れた性能を維持 - アブレーションで各モジュールの有効性と相互作用を確認

5. 議論はある?

- 議論はある? - 適切な最適化により、オンポリシー手法が MTRL でオフポリシー手法に匹敵または凌駕する可能性を示す - SAC への依存に疑問を投げかける - critic 側の勾配条件が中心的なボトルネックであると強調 - ただし、具体的な限界や議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- 次に読むべき論文は? - Soft Actor-Critic (SAC) およびその変種 - Proximal Policy Optimization (PPO) - ARS ファミリーの手法 - Meta-World+ ベンチマークに関する論文 - 要旨で参照されている具体的な論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuanpeng Li, Gefei Lin, Annie Qu, Rui Miao

分類: cs.AI, cs.LG, cs.RO, stat.ML

原文アブストラクト

Soft Actor-Critic (SAC) and its variants dominate Multi-Task Reinforcement Learning (MTRL) due to their off-policy sample efficiency, while on-policy methods such as Proximal Policy Optimization (PPO) remain underexplored. We diagnose that PPO in MTRL suffers from a previously overlooked issue: critic-side gradient ill-conditioning, which may cause tail tasks to stall while easy tasks dominate the value function's updates. To address this, we propose TOPPO (Tail-Optimized PPO), a reformulation of PPO via Critic Balancing -- a set of modules that improve gradient conditioning and balance learning dynamics across tasks. Unlike prior approaches that rely on modular architectures or large models, TOPPO targets the optimization bottleneck within PPO itself. Empirically, TOPPO achieves stronger mean and tail-task performance than published SAC-family and ARS-family baselines while using substantially fewer parameters and environment steps on Meta-World+ benchmark. Notably, TOPPO matches or surpasses strong SAC baselines early in training and maintains superior performance at full budget. Ablations confirm the effectiveness of each module in TOPPO and provide insights into their interactions. Our results demonstrate that, with proper optimization, on-policy methods can rival or exceed off-policy approaches in MTRL, challenging the prevailing reliance on SAC and highlighting critic-side gradient conditioning as the central bottleneck.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI