DiffCoTune: クロスドメインロボット制御のための微分可能な協調チューニング

本論文は、ロボットコントローラの実環境展開時に生じるモデル誤差やシミュレータの不正確さに対処するため、differentiable simulator を活用した自動・勾配ベースのチューニングフレームワーク DiffCoTune を提案する。deployment domain での性能向上を目的に、simulator と controller のパラメータを反復的に co-tune する。対象は低次元の cart-pole stabilization から高次元の quadruped/biped tracking まで及び、model-based および learning-based controller の双方に適用可能と主張する。

従来は modeling discrepancy に対して ad-hoc tuning が必要で、展開先での性能確保に手間がかかっていた。本手法は differentiable simulator を利用した gradient-based tuning により、この調整を自動化し、deployment domain での少数試行での systematic transfer を可能にする点が特徴。さらに任意の複雑さの model-based/learning-based controller を co-tune でき、低次元から高次元タスクまでスケールする点を利点として示す。

肝は differentiable simulator 上での勾配ベース最適化にある。deployment domain で rollouts を反復的に収集し、simulator と controller のパラメータを co-tune する。チューニングには multi-step objectives を定式化し、alternating optimization によって controller を deployment domain に適応させる。これにより数回の試行での transfer を狙う。

低次元の cart-pole stabilization から高次元の quadruped および biped tracking まで、複数タスクで検証している。model-based と learning-based の任意の複雑さの controller を co-tune し、異なる deployment domain において性能改善が見られたと報告している。

要旨からは不明。differentiable simulator への依存や、実機展開時の試行回数・安全性、sim-to-real gap の残余などに関する議論は要旨では明示されていない。

要旨で参照・比較されている個別研究は明示されていない。関連手法として differentiable simulation、sim-to-real transfer、model-based control、learning-based control、system identification、trajectory optimization などの定番分野を次に読む候補として挙げる。