強化学習/キャラクタ制御2025/5/1arXiv:2505.23708

AMOR: 多目的強化学習による適応的キャラクタ制御

AMOR: Adaptive Character Control through Multi-Objective Reinforcement Learning

重み付けされた複数の報酬を条件とする単一の強化学習ポリシーを訓練し、訓練後に重みを調整可能にすることで、ロボットキャラクタの動的動作生成と新規タスクへの適応を効率化した。

詳しい要約

1. どんなもの？

- 物理ベース・ロボティクスキャラクタの kinematic reference motion 追従を対象とした強化学習(RL)研究 - 単一の重み付き和 reward ではなく、重みの集合で条件付けされた単一 policy を学習する multi-objective RL フレームワーク AMOR を提案 - 学習後に重みを選択・調整できるワークフローを実現し、階層設定での動的な重み選択も探る

2. 先行研究と比べてどこがすごい？

- 従来手法は相反する reward の重み付き和に依存し、所望の挙動を得るために大規模なチューニングを要する - RL の計算コストが高く、この反復プロセスは退屈で時間集約的 - ロボティクスでは sim-to-real gap を考慮した重み選択が必要 - 提案法は Pareto front をカバーする重み条件付き単一 policy を学習し、学習後の重み選択・調整を可能にして反復時間を大幅短縮

3. 技術・手法の肝は？

- 重みの集合で条件付けされた単一 policy を学習する multi-objective RL フレームワーク - reward trade-off の Pareto front をカバーする重み空間を扱う - 学習後に重みを選択・調整可能なワークフロー - 階層設定では高レベル policy が現在のタスクに応じて重みを動的に選択

4. どうやって有効だと検証した？

- 改善されたワークフローを用いてロボットキャラクタの highly dynamic motions を実演 - 階層設定で高レベル policy がタスクに応じて重みを動的に選択する活用を検討 - multi-objective policy が多様な挙動スペクトルを符号化し、新規タスクへの効率的適応を促進することを示す - 定量的な評価指標や比較実験の詳細は要旨からは不明

5. 議論はある？

- 学習後の重み選択・調整により反復時間を短縮できる点を主張 - ロボティクス応用では sim-to-real gap 下での重み選択が課題として言及 - 階層設定での重み動的選択の可能性を提示 - 具体的な限界や失敗事例、計算コストの詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、kinematic reference motion 追従の physics-based character control における RL、reward の重み付き和を用いる手法、multi-objective RL、Pareto front 探索、hierarchical RL の定番研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lucas N. Alegre, Agon Serifi, Ruben Grandia, David Müller, Espen Knoop, Moritz Bächer

分類: cs.RO, cs.GR

原文アブストラクト

Reinforcement learning (RL) has significantly advanced the control of physics-based and robotic characters that track kinematic reference motion. However, methods typically rely on a weighted sum of conflicting reward functions, requiring extensive tuning to achieve a desired behavior. Due to the computational cost of RL, this iterative process is a tedious, time-intensive task. Furthermore, for robotics applications, the weights need to be chosen such that the policy performs well in the real world, despite inevitable sim-to-real gaps. To address these challenges, we propose a multi-objective reinforcement learning framework that trains a single policy conditioned on a set of weights, spanning the Pareto front of reward trade-offs. Within this framework, weights can be selected and tuned after training, significantly speeding up iteration time. We demonstrate how this improved workflow can be used to perform highly dynamic motions with a robot character. Moreover, we explore how weight-conditioned policies can be leveraged in hierarchical settings, using a high-level policy to dynamically select weights according to the current task. We show that the multi-objective policy encodes a diverse spectrum of behaviors, facilitating efficient adaptation to novel tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧