世界モデルオンライン模倣学習のための結合分布的ランダムエキスパート蒸留

- 本研究は、world model を用いた online imitation learning (IL) の新手法を提案するもの。 - 既存 IL の不安定性、特に world model 内の adversarial な reward/value 定式化に起因する問題を対象とする。 - random network distillation (RND) に基づく reward model で密度推定を行う。 - expert と behavioral の分布を world model の latent space 上で同時推定する。 - DMControl、Meta-World、ManiSkill2 で評価。

- 既存 IL は adversarial reward や value 定式化に依存し、world model 枠組みで不安定になりやすい。 - 提案法は adversarial 手法より安定性が向上。 - かつ expert-level の性能を維持。 - locomotion と manipulation の両タスクで expert-level の結果を達成。 - 具体的な先行研究名や数値比較は要旨からは不明。

- reward model に random network distillation (RND) を用いた密度推定を採用。 - world model の latent space 内で expert 分布と behavioral 分布を joint estimation する。 - adversarial reward/value 定式化を避けることで安定性を狙う。 - online imitation learning として構成。 - ネットワーク構造や損失関数の詳細は要旨からは不明。

- DMControl、Meta-World、ManiSkill2 の多様な benchmark で評価。 - locomotion と manipulation の両タスクで expert-level の結果を達成。 - adversarial 手法と比較して安定性が向上することを示す。 - 定量的な指標や ablation の詳細は要旨からは不明。

- adversarial 手法に対する安定性改善と expert-level 性能の両立を主張。 - 限界や失敗ケース、計算コスト、ハイパーパラメータ感度についての議論は要旨からは不明。 - world model の latent space における分布推定の理論的保証は要旨からは不明。

- random network distillation (RND) の原論文。 - world model を用いた imitation learning の関連研究。 - adversarial imitation learning の代表手法。 - DMControl、Meta-World、ManiSkill2 を用いた IL/world model 研究。 - 要旨で特定の比較研究名は挙げられていないため、上記は同分野の定番・関連手法。