模倣学習/RLファインチューニング2025/12/1arXiv:2512.16911

事後行動クローニング：効率的なRLファインチューニングのためのBC方策の事前学習

Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning

模倣学習で事前学習した方策がRLファインチューニングの初期値として不十分な場合があることを理論的に示し、デモンストレータ行動の事後分布をモデル化するPostBCを提案して効率的なファインチューニングを可能にした。

詳しい要約

1. どんなもの？

- ロボティクスから言語まで共通の「大規模デモンストレーションデータで policy を pretrain し、RL で finetune する」枠組みを対象とした研究。 - 焦点は finetuning アルゴリズムではなく、pretrained policy が RL finetuning の初期値としてどれだけ有効かを理解し、有効な初期化となるよう pretrain する方法の提案。 - 提案手法は posterior behavioral cloning (PostBC) と呼ばれ、観測されたデモンストレーションをそのまま模倣するのではなく、データセットが与えられた下での demonstrator の行動の posterior 分布をモデル化する policy。 - ロボット制御領域で現代的な generative model により実装可能で、標準的な supervised learning のみに依拠する。

2. 先行研究と比べてどこがすごい？

- 従来は finetuning アルゴリズムの改善に注目が集まり、pretrained policy を RL finetuning の有効な初期化にするという観点はほとんど検討されていなかった。 - 標準的な behavioral cloning (BC) は demonstrator の行動を直接一致させるよう学習するが、理論的に demonstrator の行動に対する coverage を保証できず、RL finetuning に必要な最小条件を満たせない場合があることを示した。 - 一方 PostBC は posterior 分布をモデル化することで demonstrator の行動の coverage を確保しつつ、pretrained 性能が BC policy より悪化しないことを保証する点が新しい。 - 現実的なロボット制御ベンチマークと実世界のロボットマニピュレーションタスクの両方で、標準 BC より RL finetuning 性能が有意に向上することを示した。

3. 技術・手法の肝は？

- 観測されたデモンストレーションへ厳密にフィットさせるのではなく、デモンストレーション dataset が与えられた下での demonstrator の behavior の posterior 分布を policy としてモデル化する。 - この posterior behavioral cloning (PostBC) policy により demonstrator の行動に対する coverage を確保し、RL finetuning の有効な初期化を実現する。 - 理論的には、標準 BC が coverage を保証できないこと、PostBC が coverage を確保しつつ pretrained 性能を BC 以上に保つことを示す。 - 実装面では現代的な generative model を用い、標準的な supervised learning のみでロボット制御領域に適用可能とする。

4. どうやって有効だと検証した？

- 理論的に、標準 BC が demonstrator の行動の coverage を保証できないこと、および PostBC が coverage を確保し pretrained 性能を BC より悪化させないことを示した。 - 現実的なロボット制御ベンチマークでの実験により、標準 BC と比較して RL finetuning 性能が有意に向上することを検証。 - 実世界のロボットマニピュレーションタスクにおいても、標準 BC と比べて RL finetuning 性能の大幅な改善を確認。

5. 議論はある？

- 要旨からは不明。 - 理論的保証や実験結果の限界、PostBC の適用範囲や generative model 依存性などについての議論は要旨には明示されていない。

6. 次に読むべき論文は？

- 標準的な behavioral cloning (BC) に関する研究。 - RL finetuning アルゴリズムの改善に関する研究。 - demonstrator の behavior の posterior 分布をモデル化する手法や、ロボット制御における generative model を用いた policy 学習に関する研究。 - 要旨では個別の論文名は参照されていないため、上記は関連手法・分野の一般名として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrew Wagenmaker, Perry Dong, Raymond Tsao, Chelsea Finn, Sergey Levine

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Standard practice across domains from robotics to language is to first pretrain a policy on a large-scale demonstration dataset, and then finetune this policy, typically with reinforcement learning (RL), in order to improve performance on deployment domains. This finetuning step has proved critical in achieving human or super-human performance, yet while much attention has been given to developing more effective finetuning algorithms, little attention has been given to ensuring the pretrained policy is an effective initialization for RL finetuning. In this work we seek to understand how the pretrained policy affects finetuning performance, and how to pretrain policies in order to ensure they are effective initializations for finetuning. We first show theoretically that standard behavioral cloning (BC) -- which trains a policy to directly match the actions played by the demonstrator -- can fail to ensure coverage over the demonstrator's actions, a minimal condition necessary for effective RL finetuning. We then show that if, instead of exactly fitting the observed demonstrations, we train a policy to model the posterior distribution of the demonstrator's behavior given the demonstration dataset, we do obtain a policy that ensures coverage over the demonstrator's actions, enabling more effective finetuning. Furthermore, this policy -- which we refer to as the posterior behavioral cloning (PostBC) policy -- achieves this while ensuring pretrained performance is no worse than that of the BC policy. We then show that PostBC is practically implementable with modern generative models in robotic control domains -- relying only on standard supervised learning -- and leads to significantly improved RL finetuning performance on both realistic robotic control benchmarks and real-world robotic manipulation tasks, as compared to standard behavioral cloning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧