WARP-RM: ワープ拡張相対進行報酬モデルによるデータキュレーション

本論文は、模倣学習のためのデータキュレーション手法 WARP-RM を提案する。 - 目的: 人間のテレオペレーションで生じる質の混ざったデモから、高品質な行動を抽出して模倣学習をスケールさせる。 - 対象: 成功デモのみから dense で符号付きの相対進捗量を自己教師ありで学習する。 - 構成: WARP (Warp-Augmented Relative Progress) と、その報酬を BC に組み込む WARP-BC。 - 応用: 物理 bimanual robot による T-shirt folding や bottle-in-bin placement で評価。

先行研究との比較で、以下の点が優れる。 - 従来の frame-level progress reward model は絶対時間の代理指標を教師信号とし、label noise や subtask 境界の人手注釈コストに悩まされる。 - WARP は成功デモのみから完全自己教師ありで dense な相対進捗を学習し、人手注釈を不要にする。 - データ品質が低下する状況でも WARP-BC は成功率 19/20 を維持し、vanilla BC の 2/20 への崩壊を防ぐ。 - throughput を最大 18x 改善する点も示す。

技術の肝は以下の通り。 - WARP: 成功デモに対し time-warp 拡張 (variable playback speeds と reversals) を適用し、per-frame progress target を生成。 - WARP-RM: 入力フレーム間の正規化経過時間を予測するよう学習。 - 集約: 重複する window にわたる予測を集約し、dense な frame-level progress signal を得る。 - WARP-BC: このスカラー報酬推定を用いて、behavior cloning 中に高 advantage な action chunk を upweight。chunk-level advantage は per-frame reward の集約で得る。

有効性は以下の実験で検証。 - 物理 bimanual robot による long-horizon deformable object manipulation: ランダムに丸められた T-shirt の folding。 - データ品質の影響評価: episode length を teleoperation の sub-optimality の代理指標とし、品質の異なる訓練データセットを構築。 - 結果: 非効率を含むデータに広げても WARP-BC は成功率 19/20 を維持、vanilla BC は 2/20 に崩壊。throughput は最大 18x 改善。 - 追加検証: 実世界の bottle-in-bin placement と再現可能な simulation でも、success, speed, throughput の向上が paired significance tests で確認。simulation code と evaluation artifacts を公開。

議論点は以下が考えられるが、要旨からは限定的。 - 成功デモのみを前提とするため、失敗デモや多様な失敗モードへの適用可能性は要旨からは不明。 - time-warp 拡張が進捗の符号や大きさをどの程度正確に反映するか、理論的保証は要旨からは不明。 - 実世界タスクは T-shirt folding と bottle-in-bin placement に限られ、他タスクへの一般化は要旨からは不明。 - 計算コストや window 集約のハイパーパラメータ感度は要旨からは不明。

要旨で参照・比較されている研究や関連手法を挙げる。 - frame-level progress reward model (絶対時間の代理指標を用いる先行手法) - behavior cloning (vanilla BC) - time-warp augmentation を用いた自己教師あり学習 - 関連分野の定番として imitation learning, reinforcement learning from demonstrations, reward shaping, data curation for robot learning