実ロボット5球ジャグリングのためのタスク誤差残差学習

- 本論文は、実機ロボットによる5ボールジャグリングを実現するための残差学習（residual learning）手法を提案する。 - 対象はanthropomorphic Barrett WAM armsを用いた3, 4, 5ボールのジャグリング。 - 方向性タスク誤差（directional task error）を教師信号とし、タスク誤差モデルによるサンプル選択を組み合わせる。 - 単純な理想化スタック（計画・制御）を用いても、2回目の試行から収束し、失敗なしでタスク誤差が単調減少する。 - 5ボールジャグリングは人間では通常数年を要するが、本手法はそれを実機で達成。

- 従来の強化学習（RL）はスカラー報酬を用いるため、タスクを定義する方向性タスク誤差に比べて情報量が少ない。 - ランダム探索は各ロールアウトの情報をさらに破棄してしまう。 - 本手法は方向性タスク誤差監督とタスク誤差モデルによるサンプル選択を組み合わせ、サンプル効率を大幅に改善。 - 2つの三項軸（学習フィードバックの方向性情報と解析的priorのコミットメント）で残差学習を比較し、両軸が必要であることを示す。 - 最も単純な組み合わせであるfixed-Jacobian Newton updateが最も信頼性が高いことを示した。

- 残差学習：既存の計画・制御スタックの出力を修正する残差を学習。 - 方向性タスク誤差（directional task error）を教師信号として使用。 - タスク誤差モデルを構築し、サンプル選択を駆動。 - 比較した手法：Newton-style Jacobian updates、Composite Bayesian Optimization、stochastic search methods。 - 最も信頼性の高い手法はfixed-Jacobian Newton update。 - 学習された残差はpriorの大きなずれや関節追従の劣化に耐性があり、主に収束速度に影響。

- 実機（anthropomorphic Barrett WAM arms）で3, 4, 5ボールジャグリングを実施。 - 2回目の試行から収束し、最初の試行は失敗するが、その後タスク誤差が単調減少し失敗なし。 - 2つの三項軸に沿って残差学習手法を比較評価。 - 方向性フィードバックと情報豊富なpriorの両方が必要であることを実験的に検証。 - すべての実験のビデオドキュメントを公開（https://kai-ploeger.com/residual-juggling）。

- 実機ロボットにおける残差学習のボトルネックは、周囲のスタックの精度ではなく、監督信号の情報量と学習器のその利用効率であると結論。 - 方向性フィードバックと情報豊富なpriorの両方が必要であり、どちらか一方だけでは不十分。 - 学習された残差はpriorのずれや関節追従の劣化に耐性があるが、主に収束速度に影響する。 - 単純なfixed-Jacobian Newton updateが最も信頼性が高いという結果は、複雑な手法の必要性に疑問を投げかける。

- 要旨で参照/比較されている研究：Newton-style Jacobian updates、Composite Bayesian Optimization、stochastic search methods。 - 関連手法：residual learning、reinforcement learning（RL）、directional task error supervision、task error model。 - 同分野の定番：model-based RL、policy gradient methods、Bayesian optimization for robotics。