日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2602.23804

PPOのためのActor-Critic事前学習

Actor-Critic Pretraining for Proximal Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

強化学習PPOにおいて、Actorを模倣学習で、Criticを事前学習済み方策のロールアウトから得たリターンで初期化する手法を提案し、15のロボット操作・歩行タスクでサンプル効率を大幅に改善した。

詳しい要約

1. どんなもの?

- 強化学習のactor-criticアルゴリズム(例:Proximal Policy Optimization, PPO)において、actorとcriticの両方を専門家デモンストレーションで事前学習する手法を提案。 - actorはbehavioral cloningで初期化し、criticは事前学習済みポリシーのロールアウトから得たリターンを用いて事前学習する。 - 15のシミュレーションロボット操作・移動タスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来はactorのみをbehavioral cloningで事前学習し、criticの初期化はほとんど注目されていなかった。 - 提案手法はactor-critic事前学習により、事前学習なしと比較してサンプル効率を平均86.1%改善。 - actorのみの事前学習と比較しても平均30.9%改善。

3. 技術・手法の肝は?

- actorネットワーク:専門家デモンストレーションに対するbehavioral cloningで初期化。 - criticネットワーク:事前学習済みポリシーによるロールアウトから得られるリターンを用いて事前学習。 - その後、PPOなどのactor-criticアルゴリズムでファインチューニング。

4. どうやって有効だと検証した?

- 15のシミュレーションロボット操作・移動タスクで評価。 - 事前学習なしおよびactorのみの事前学習と比較し、サンプル効率の改善を定量的に示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Proximal Policy Optimization (PPO) - behavioral cloning - actor-criticアルゴリズム

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andreas Kernbach, Amr Elsheikh, Nicolas Grupp, René Nagel, Marco F. Huber

分類: cs.LG

原文アブストラクト

Reinforcement learning (RL) actor-critic algorithms enable autonomous learning but often require a large number of environment interactions, which limits their applicability in robotics. Leveraging expert data can reduce the number of required environment interactions. A common approach is actor pretraining, where the actor network is initialized via behavioral cloning on expert demonstrations and subsequently fine-tuned with RL. In contrast, the initialization of the critic network has received little attention, despite its central role in policy optimization. This paper proposes a pretraining approach for actor-critic algorithms like Proximal Policy Optimization (PPO) that uses expert demonstrations to initialize both networks. The actor is pretrained via behavioral cloning, while the critic is pretrained using returns obtained from rollouts of the pretrained policy. The approach is evaluated on 15 simulated robotic manipulation and locomotion tasks. Experimental results show that actor-critic pretraining improves sample efficiency by 86.1% on average compared to no pretraining and by 30.9% to actor-only pretraining.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI