強化学習/模倣学習/操作2026/5/1arXiv:2605.19919

行動残差を超えて：ボトルネック潜在強化学習による実世界ロボットポリシーの操縦

Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning

事前学習済みの模倣ポリシーを、行動空間ではなくボトルネック潜在空間で強化学習により微調整する手法ZPRLを提案し、シミュレーションと実世界の操作タスクで性能を向上させた。

詳しい要約

1. どんなもの？

Pretrained imitation policy を online RL で改善する手法 Z-Perturbation Reinforcement Learning (ZPRL) を提案。 - 対象: robot manipulation における pretrained policy の online finetuning。 - 課題: execution errors、dataset coverage の限定、deployment mismatch。 - 特徴: action space ではなく compact bottleneck latent を介して policy を steer。 - 構成: offline で variational information bottleneck (VIB) を追加し、online では base policy を凍結して latent 上の residual のみ RL で学習。 - 検証: 8 simulation tasks と 4 real-world tasks で評価。

2. 先行研究と比べてどこがすごい？

既存の軽量な post-training 手法は action space に直接 residual correction を適用するものが一般的。 - それらは noisy で poorly structured な exploration を招きやすいと指摘。 - ZPRL は policy weights や output actions ではなく compact bottleneck latent を操作対象とする点が異なる。 - 結果として sample efficiency と final performance の両方で strong post-training baselines を上回る。 - 実世界 4 タスクで imitation base policy 比 +33.7% の平均成功率、action residual counterpart より smoother な exploration を報告。

3. 技術・手法の肝は？

offline training 時に policy へ plug-and-play の variational information bottleneck (VIB) module を追加。 - observation embeddings から task-relevant な latent interface を抽出。 - online finetuning では base policy を freeze し、RL はこの latent 上の residual perturbation のみを学習。 - その decoded representation が frozen action generator を条件付ける。 - flow-matching policies 上に ZPRL を実装。

4. どうやって有効だと検証した？

8 つの simulation tasks と 4 つの real-world tasks で評価。 - 多様な manipulation 設定で sample efficiency と final performance を strong post-training baselines と比較。 - 実世界では 4 タスクの平均成功率が imitation base policy 比 +33.7%。 - action residual counterpart と比べ smoother な exploration behaviors を生成。 - 詳細な動画は https://manutdmoon.github.io/ZPRL/ で公開。

5. 議論はある？

compact で task-aligned な bottleneck latent が online RL adaptation の有効な interface になり得ると示唆。 - action space での residual ではなく latent を操作することで noisy で poorly structured な exploration を回避できる可能性。 - 限界や失敗事例、計算コスト、VIB の設計感度などは要旨からは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究: action residual を用いる lightweight post-training 手法、flow-matching policies、variational information bottleneck (VIB)。 - 関連手法として imitation learning の pretrained policy、online RL finetuning、residual RL が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongjie Yu, Kun Lei, Zhennan Jiang, Jia Pan, Huazhe Xu

分類: cs.RO

原文アブストラクト

Pretrained imitation policies have become a strong foundation for robot manipulation, but they often require online improvement to overcome execution errors, limited dataset coverage, and deployment mismatch. A central question is therefore how reinforcement learning (RL) should adapt policies after offline pretraining. Existing lightweight methods commonly apply residual corrections directly in action space, but this often leads to noisy and poorly structured exploration. In this work, we propose Z-Perturbation Reinforcement Learning (ZPRL), an approach that steers pretrained policies through a compact bottleneck latent rather than through policy weights or output actions. During offline training, we augment the policy with a plug-and-play variational information bottleneck (VIB) module to extract a task-relevant latent interface from observation embeddings. During online finetuning, the base policy is frozen and RL learns only a residual perturbation on this latent, whose decoded representation conditions the frozen action generator. We instantiate ZPRL on flow-matching policies and evaluate it on eight simulation tasks and four real-world tasks. Across diverse manipulation settings, ZPRL improves both sample efficiency and final performance over strong post-training baselines. In the real world, ZPRL improves the average success rate on four tasks by 33.7% over imitation base policies while producing smoother exploration behaviors than an action residual counterpart. These results suggest that a compact, task-aligned bottleneck latent provides an effective interface for online RL adaptation. More videos can be found at https://manutdmoon.github.io/ZPRL/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧