日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2509.14816

勾配衝突解消によるスケーラブルな多目的ロボット強化学習

Scalable Multi-Objective Robot Reinforcement Learning through Gradient Conflict Resolution

シェア:XThreadsFacebookLINEはてブBluesky

多目的強化学習において、目的間の勾配衝突を優先度に基づいて解消するGCR-PPOを提案し、ロボットの操作・歩行ベンチマークで並列PPOより優れたスケーラビリティと性能を示した。

詳しい要約

1. どんなもの?

- ロボットRLにおける多目的最適化のための手法 - タスク目的を単一スカラー報酬に集約する従来のRLコントローラの問題を扱う - 目的ごとの勾配貢献の衝突、特にタスク報酬と現実的行動への正則化項の衝突に着目 - GCR-PPOを提案:actor-critic最適化を改変し、multi-headed criticでactor更新を目的別勾配に分解し、目的の優先度に基づき衝突を解消 - IsaacLabのmanipulationおよびlocomotionベンチマークで評価

2. 先行研究と比べてどこがすごい?

- 大規模PPOは実世界のロバストなlocomotion等を実現したが、報酬調整コストや局所解への脆弱性、目的数増加に伴うスケーラビリティ制約がある - 報酬ベクトルとトレードオフのモデル化はこれらの問題に対処しうるが、計算コストと最適化困難さからロボティクスRLでは多目的手法は未活用 - GCR-PPOは並列PPOと比較して優れたスケーラビリティ(p = 0.04)を示し、有意な計算オーバーヘッドなし - 衝突の多いタスクでより高い性能、大規模PPOに対し平均9.5%改善、高衝突タスクで更大的改善

3. 技術・手法の肝は?

- actor-critic最適化の改変 - multi-headed criticを用いてactor更新を目的ごとの勾配に分解 - 目的の優先度に基づいて勾配間の衝突を解消 - 特にタスクベース報酬と現実的行動への正則化項の間の衝突を明示的に扱う - スカラー化に起因する目的ごとの勾配貢献の衝突を調査

4. どうやって有効だと検証した?

- IsaacLabのmanipulationおよびlocomotionベンチマークで評価 - 関連する2タスクに追加の多目的改変を施して評価 - 並列PPOとの比較でスケーラビリティ優位(p = 0.04)を確認 - 計算オーバーヘッドが有意でないことを確認 - 衝突の多いタスクでより高い性能、大規模PPOに対し平均9.5%改善

5. 議論はある?

- 要旨からは不明 - 勾配衝突の解消が計算コストや最適化難度に与える影響の詳細な議論は要旨に記載なし - 目的優先度の設定方法や一般性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 大規模Proximal Policy Optimisation (PPO) - 多目的強化学習(multi-objective RL) - IsaacLabベンチマーク - multi-headed criticを用いるactor-critic手法 - 報酬ベクトルとトレードオフをモデル化する手法(要旨で言及)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Humphrey Munn, Brendan Tidd, Peter Böhm, Marcus Gallagher, David Howard

分類: cs.RO, cs.LG

原文アブストラクト

Reinforcement Learning (RL) robot controllers usually aggregate many task objectives into one scalar reward. While large-scale proximal policy optimisation (PPO) has enabled impressive results such as robust robot locomotion in the real world, many tasks still require careful reward tuning and are brittle to local optima. Tuning cost and sub-optimality grow with the number of objectives, limiting scalability. Modelling reward vectors and their trade-offs can address these issues; however, multi-objective methods remain underused in RL for robotics because of computational cost and optimisation difficulty. In this work, we investigate the conflict between gradient contributions for each objective that emerge from scalarising the task objectives. In particular, we explicitly address the conflict between task-based rewards and terms that regularise the policy towards realistic behaviour. We propose GCR-PPO, a modification to actor-critic optimisation that decomposes the actor update into objective-wise gradients using a multi-headed critic and resolves conflicts based on the objective priority. Our methodology, GCR-PPO, is evaluated on the well-known IsaacLab manipulation and locomotion benchmarks and additional multi-objective modifications on two related tasks. We show superior scalability compared to parallel PPO (p = 0.04), without significant computational overhead. We also show higher performance with more conflicting tasks. GCR-PPO improves on large-scale PPO with an average improvement of 9.5%, with high-conflict tasks observing a greater improvement. The code is available at https://github.com/humphreymunn/GCR-PPO.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI