LUCID: 想像上のダイナミクスによる潜在スキル統合制御による長期的ヒューマノイド移動操作

LUCIDは、長期的なヒューマノイドの移動操作（loco-manipulation）タスクのための階層的モデルベース強化学習フレームワークである。再利用可能なスキル（潜在変数で条件付けられた低レベルポリシー）を学習し、そのスキルを高レベルポリシーが選択することで、複雑なタスクシーケンスを実行する。高レベルポリシーは、学習されたマクロダイナミクスモデル（world model）を用いた想像上のロールアウト（imagined rollouts）によって最適化される。

既存手法は、事前学習したスキルをスクリプト化されたプランナーや有限状態機械、タスク固有のモデルフリーポリシーで調整することが多く、複雑なタスクシーケンスへの対応が制限されていた。LUCIDは、学習されたダイナミクスモデルを用いた想像上のロールアウトを通じてスキル上で計画を行うことで、この制限を克服し、より柔軟な意思決定を可能にしている点が優れている。

手法の肝は、階層的モデルベース強化学習の枠組みである。まず、敵対的模倣学習（adversarial imitation）を用いて構造化された潜在条件付き低レベルポリシーを訓練し、その後、そのポリシーを凍結したまま、高レベルポリシーとマクロダイナミクスワールドモデルを同時に学習する。ワールドモデルは、潜在的な決定によって引き起こされる時間的に拡張された状態遷移を予測し、これにより高レベルポリシーは想像上のロールアウトを通じて最適化される。

シミュレーション環境における複数の多物体再配置シナリオ（multi-object rearrangement scenarios）で評価された。実験結果は、LUCIDが従来のベースライン手法と比較して、タスク全体の成功率（full-task success）と部分的な完了率（partial-completion rates）を向上させることを示した。

要旨からは、議論の詳細は不明である。ただし、LUCIDはシミュレーションでのみ評価されており、実世界での検証が今後の課題となる可能性が示唆される。また、階層的アプローチの複雑さや、ワールドモデルの学習精度が性能に与える影響などについての議論が考えられるが、要旨には明記されていない。

要旨で参照されている先行研究や関連手法は明示されていないが、同分野の定番として、階層的強化学習（Hierarchical Reinforcement Learning）、モデルベース強化学習（Model-Based Reinforcement Learning）、敵対的模倣学習（Adversarial Imitation Learning）、ヒューマノイドの移動操作（Humanoid Loco-Manipulation）に関する論文が挙げられる。具体的には、スキル事前学習と計画を組み合わせた手法や、モデルベースの階層的強化学習の研究が関連する。