DiLQR: 陰関数微分による微分可能な反復線形二次レギュレータ

- iLQR（iterative Linear Quadratic Regulator）を微分可能なモジュールとして扱うフレームワーク DiLQR の提案。 - iLQR 単体、または neural network 内の構成要素として学習可能にする。 - 制御ベンチマーク上の imitation タスクで評価。 - 視覚入力を持つ大規模ネットワークへの統合も示す。

- 従来の differentiable control は model-free の柔軟性と model-based の効率を組み合わせる枠組みだが、iLQR は微分可能な部品として未開拓だった。 - 長い iteration と horizon を通した微分のスケーラビリティが課題だった。 - DiLQR は implicit differentiation による解析的勾配で、iteration 数に依らず backward cost を一定に保つ。 - automatic differentiation 比で最大 128x、最低 21x の高速化。 - 従来の neural network policy 比で学習性能 10^6 倍、厳密な解析的勾配を持たない微分可能制御より model loss が良い。

- iLQR を微分可能にするため、implicit differentiation に基づく解析的な勾配計算を導入。 - これにより backward cost が iteration 数に依存せず一定になる。 - 勾配は正確に計算される。 - iLQR を単体モジュールとしても、neural network 内の層としても利用可能にする設計。

- 有名な control benchmark 上の imitation タスクで評価。 - automatic differentiation との計算性能比較で最大 128x、最低 21x の speedup を確認。 - 従来の neural network policy と比較して学習性能 10^6 倍を確認。 - 厳密な解析的勾配を持たない微分可能制御と比較して model loss が改善。 - 視覚入力を持つ大規模ネットワークに統合し、高次元の fully end-to-end タスクへの適用可能性を提示。

- 要旨からは不明。 - 評価は imitation タスクと視覚入力統合に限られており、他の制御設定への一般性は要旨からは不明。 - 計算性能と学習性能の比較結果は示されているが、限界や失敗事例の議論は要旨からは不明。

- iLQR の原論文（Tassa et al. の iLQR 関連研究）。 - differentiable control の代表的手法（model-based と model-free を組み合わせた研究）。 - implicit differentiation を用いた微分可能最適化の関連研究。 - automatic differentiation との比較対象となった微分可能制御手法。 - 視覚入力の end-to-end 制御に関する関連研究。