操作/オフラインRL2026/3/1arXiv:2603.20658

スピードアップパッチ：身体操作を加速するプラグアンドプレイ方策の学習

Speedup Patch: Learning a Plug-and-Play Policy to Accelerate Embodied Manipulation

既存の身体操作ポリシーの実行速度が遅い問題に対し、オフラインデータのみで使える軽量な外部スケジューラを導入し、行動チャンクを適応的に間引いて実行を高速化するフレームワークを提案した。

詳しい要約

1. どんなもの？

- 身体性を伴う manipulation 政策の実行速度を向上させる **Speedup Patch (SuP)** を提案。 - 既存の embodied policies は人間のデモの遅いペースを引き継ぐため実行が遅い。 - SuP は **policy-agnostic** で **plug-and-play** な軽量フレームワーク。 - オフラインデータのみを用い、外部 **scheduler** が action chunks を適応的にダウンサンプリングして冗長性を除去。 - 再学習やオンライン相互作用を必要とせず、大規模基盤モデルへの適用を狙う。

2. 先行研究と比べてどこがすごい？

- 既存の加速手法は **policy retraining** や高コストな **online interactions** を必要とし、大規模基盤モデルへのスケールが難しい。 - SuP は **offline data** のみで **plug-and-play** 加速を実現し、再学習不要。 - 多様な政策に対して **1.8x** の実行速度向上を達成しつつ、元の成功率を維持。 - シミュレーションベンチマーク（**Libero**, **Bigym**）と実世界タスクで有効性を検証。

3. 技術・手法の肝は？

- 外部 **scheduler** が embodied policies の **action chunks** を適応的にダウンサンプリング。 - 最適化を **Constrained Markov Decision Process (CMDP)** として定式化し、効率最大化とタスク性能維持を両立。 - オフライン設定では直接的な成功評価が不可能なため、**World Model** に基づく **state deviation** を代理指標として安全制約を課す。 - 学習済み world model を仮想評価器として **counterfactual trajectories** を予測し、**offline reinforcement learning** で scheduler を最適化。

4. どうやって有効だと検証した？

- シミュレーションベンチマーク **Libero** と **Bigym**、および実世界タスクで評価。 - 多様な政策に対して **1.8x** の実行速度向上を達成。 - 元の成功率を維持することを確認。

5. 議論はある？

- 要旨からは不明。 - 想定される議論点：world model の予測精度への依存、オフライン設定での安全性保証の限界、実世界タスクでの汎化性能、異なる政策やタスクへの適用範囲など。

6. 次に読むべき論文は？

- **Libero** および **Bigym** ベンチマークに関する論文。 - **Constrained Markov Decision Process (CMDP)** を用いたオフライン強化学習の研究。 - **World Model** を仮想評価器として用いるオフライン RL 手法（例：**MBPO**, **Dreamer** など）。 - **action chunking** や **temporal abstraction** を用いた manipulation 政策の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhichao Wu, Junyin Ye, Zhilong Zhang, Yihao Sun, Haoxin Lin, Jiaheng Luo, Haoxiang Ren, Lei Yuan, Yang Yu

分類: cs.RO

原文アブストラクト

While current embodied policies exhibit remarkable manipulation skills, their execution remains unsatisfactorily slow as they inherit the tardy pacing of human demonstrations. Existing acceleration methods typically require policy retraining or costly online interactions, limiting their scalability for large-scale foundation models. In this paper, we propose Speedup Patch (SuP), a lightweight, policy-agnostic framework that enables plug-and-play acceleration using solely offline data. SuP introduces an external scheduler that adaptively downsamples action chunks provided by embodied policies to eliminate redundancies. Specifically, we formalize the optimization of our scheduler as a Constrained Markov Decision Process (CMDP) aimed at maximizing efficiency without compromising task performance. Since direct success evaluation is infeasible in offline settings, SuP introduces World Model based state deviation as a surrogate metric to enforce safety constraints. By leveraging a learned world model as a virtual evaluator to predict counterfactual trajectories, the scheduler can be optimized via offline reinforcement learning. Empirical results on simulation benchmarks (Libero, Bigym) and real-world tasks validate that SuP achieves an overall 1.8x execution speedup for diverse policies while maintaining their original success rates.

arXivで原文を読む →arXiv概要ページ

← 論文一覧