REDIRECT: ロボットの悪い癖を1%の修正で直す

- ロボットがteleoperationから得たデータに含まれる欠陥のあるデモンストレーションによって、悪い習慣（bad habits）を獲得する問題に対処する手法。 - 混合品質のロボットデータにおいて、正常なデモと問題のあるデモはほとんどのタスク行動を共有し、局所的なaction continuationのみが異なる。 - 完全な再トレーニングはコストが高く、クリーンなデータのみでのfine-tuningは小さな更新予算では限定的な回復しか得られない。 - REDIRECTは、完全なトレーニングのsample-backward budgetのわずか1%で局所的な違いを修正できるかどうかを問う。 - episode-levelのretained/problematicラベルのみを使用し、フレームレベルのアノテーションや追加のinteractionなしで、分岐を特定し、元の観測の周りに一貫したretained continuationを割り当て、共有行動をanchorする。

- 従来の完全再トレーニングはコストが高く、クリーンなデータのみのfine-tuningは小さな更新予算では限定的な回復（22.1%）しか示さない。 - REDIRECTは、完全なトレーニングのsample-backward budgetの1%のみを使用して、clean-retraining gapの88.8%を回復する。 - マッチした計算量のfine-tuningと比較して、大幅に高い回復率を達成。 - フレームレベルのアノテーションや追加のinteractionを必要とせず、episode-levelのラベルのみで動作する点が新しい。

- episode-levelのretained/problematicラベルのみを使用。 - 問題のある分岐をlocalizeし、その周囲の元の観測に対して一貫したretained continuationを割り当てる。 - 共有行動をanchorすることで、共有部分を再学習せずに行動の違いに更新予算を集中させる。 - フレームレベルのアノテーションや追加のinteractionは不要。

- 3つのランダム化されたManiSkillタスクと3つのシードで評価。 - 平均成功率を68.2%から90.3%に向上。 - clean-retraining gapの88.8%を回復（マッチした計算量のfine-tuningでは22.1%）。 - PiPERアーム上で、cup insertionとtowel foldingのタスクにおいて、clean-only gapの86.7-92.9%を回復。

- 局所的なロボットの習慣は、共有行動を再学習するのではなく、行動の違いに更新予算を費やすことで修復可能であることを示唆。 - 要旨からは、手法の限界や失敗ケース、他のタスクへの一般化可能性についての議論は不明。

- 要旨で参照/比較されている研究：clean-retraining、fine-tuning on clean data、ManiSkill、PiPER。 - 関連手法：teleoperation、behavior cloning、fine-tuning、sample-backward budget。 - 同分野の定番：imitation learning、reinforcement learning、robot learning from demonstration。