タスクをスケールせよ：マルチタスクモデルベース強化学習によるヒューマノイド制御の習得

本論文は、embodied AI における汎用ロボットの多様なスキル獲得を目指し、オンライン学習では「タスク数」をスケールさせるべきだと主張する研究である。 - 提案手法は EfficientZero-Multitask (EZ-M) と呼ばれる、サンプル効率の高い多タスク model-based reinforcement learning (MBRL) アルゴリズム。 - 評価は whole-body control ベンチマークである HumanoidBench 上で行われる。 - モデルパラメータやオフラインデータセットのスケーリングではなく、タスク数のスケーリングを軸とする点を特徴とする。

先行研究はモデルパラメータやオフラインデータセットのスケーリングを強調するが、ロボティクスでは能動的相互作用が必要で限界がある。 - 本論文は、オンライン学習ではタスク数をスケールさせるべきだと主張し、そのレジームで MBRL の構造的優位性を示す。 - 物理ダイナミクスはタスク間で不変であるため、共有 world model が多タスク経験を集約し、頑健でタスク非依存の表現を学習できる。 - 一方、model-free 手法は類似状態で矛盾する行動を要求するタスク間で勾配干渉を起こす。 - タスク多様性が MBRL の正則化として働き、ダイナミクス学習とサンプル効率を改善する点を明らかにする。

技術の肝は、多タスク online learning のためのサンプル効率の高い MBRL アルゴリズム EfficientZero-Multitask (EZ-M) である。 - タスク間で不変な物理ダイナミクスを利用し、共有 world model で多タスク経験を集約する。 - これによりタスク非依存の頑健な表現を学習し、タスク多様性を正則化として活用する。 - model-free 手法で問題となる勾配干渉を回避する構造的利点を活かす。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

HumanoidBench 上で評価を実施。 - 挑戦的な whole-body control ベンチマークにおいて、EZ-M が state-of-the-art 性能を達成。 - 強いベースラインと比較して、極端なパラメータスケーリングなしに significantly higher sample efficiency を示す。 - これによりタスクスケーリングがスケーラブルなロボット学習の重要な軸であることを確立。 - 具体的なベースライン名や評価指標の詳細は要旨からは不明。

本論文は、タスク数のスケーリングがロボット学習の重要軸であると議論する。 - MBRL ではタスク多様性が正則化として機能し、ダイナミクス学習とサンプル効率を改善する。 - 一方、model-free 手法は勾配干渉により多タスクで苦戦する。 - 限界や今後の課題、他のベンチマークへの一般化については要旨からは不明。

要旨で参照・比較されている研究として、model-based reinforcement learning (MBRL)、model-free 手法、EfficientZero、HumanoidBench が挙げられる。 - 関連手法として、共有 world model を用いる多タスク MBRL や、Dreamer などの MBRL 一般手法が次に読むべき候補。 - また、HumanoidBench を用いた whole-body control の研究も参考になる。