マルチモーダル生成ポリシーの微調整のための行動モード発見
Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies
強化学習による生成ポリシーの微調整で行動の多様性が失われる問題に対し、潜在的な行動モードを教師なしで発見し、相互情報量を内在報酬として利用することで、タスク成功率を保ちつつ多様な行動を維持する手法を提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Alberta Longhini, David Emukpere, Jean-Michel Renders, Seungsu Kim
分類: cs.LG, cs.RO
原文アブストラクト
We address the problem of fine-tuning pre-trained generative policies with reinforcement learning (RL) while preserving the multimodality of their action distributions. Existing methods for RL fine-tuning of generative policies (e.g., diffusion policies) improve task performance but often collapse diverse behaviors into a single reward-maximizing mode. To mitigate this issue, we propose an unsupervised mode discovery framework that uncovers latent behavioral modes within generative policies. The discovered modes enable the use of mutual information as an intrinsic reward, regularizing RL fine-tuning to enhance task success while maintaining behavioral diversity. Experiments on robotic manipulation tasks demonstrate that our method consistently outperforms conventional fine-tuning approaches, achieving higher success rates and preserving richer multimodal action distributions.
関連論文
- クリップ付き目的関数による後方最適化：生成的方策学習における効率と安定性の橋渡しロボット操作/強化学習
