日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2511.12361

SAC-MoE:不確実性を伴うハイブリッド力学系の制御のためのMixture-of-Expertsを用いた強化学習

SAC-MoE: Reinforcement Learning with Mixture-of-Experts for Control of Hybrid Dynamical Systems with Uncertainty

シェア:XThreadsFacebookLINEはてブBluesky

ハイブリッド力学系の制御において、潜在モードと切替えの不確実性に対処するため、SACのアクターをMixture-of-Expertsでモデル化し、カリキュラム学習で訓練する手法を提案。未見環境へのゼロショット汎化性能を最大6倍向上させた。

詳しい要約

1. どんなもの?

- ハイブリッド力学系(連続変数ダイナミクスと離散イベントの相互作用系)の制御のための強化学習手法 - 脚式ロボット・車両・航空機などを対象に、モードやモード切替イベントが不可観測(latent)な不確実性下での制御を扱う - Soft Actor-Critic (SAC) の actor を Mixture-of-Experts (MoE) として構成し、学習済み router が適応的に expert を選択する SAC-MoE を提案 - さらに curriculum-based training により困難な設定でのデータ収集を優先する学習法を開発 - hybrid autonomous racing と legged locomotion のシミュレーションで評価

2. 先行研究と比べてどこがすごい?

- model-based control はハイブリッドダイナミクスにおけるこの種の不確実性を通常考慮しない - 標準的な model-free RL は急激なモード切替を扱えず汎化性能が低い - これに対し SAC-MoE は MoE 構造と router により latent モードや切替位置への適応を可能にする - 未見環境への zero-shot generalization で baseline を最大 6x 上回る - curriculum 戦略は評価した全 policy で一貫して性能を改善 - 定性的分析で interpretable な MoE router が異なる latent モードに対し異なる expert を活性化することを示す

3. 技術・手法の肝は?

- SAC の actor を Mixture-of-Experts (MoE) としてモデル化 - 学習された router が学習済み expert の中から適応的に選択する機構 - 不確実な latent モードやモード切替への適応を狙う - ロバスト性向上のため curriculum-based training algorithm を開発 - 困難な設定でのデータ収集を優先する curriculum により、未見モードや切替位置への汎化を促進 - 詳細なネットワーク構成や router の学習則は要旨からは不明

4. どうやって有効だと検証した?

- hybrid autonomous racing と legged locomotion のシミュレーション研究で検証 - 未見環境への zero-shot generalization において baseline と比較(最大 6x の性能差) - curriculum 戦略の効果を全評価 policy で確認し一貫した改善を報告 - 定性的分析により MoE router が異なる latent モードで異なる expert を活性化することを確認 - 実機実験や詳細な ablation の有無は要旨からは不明

5. 議論はある?

- 提案手法の有効性はシミュレーションで示されるが、実世界への適用可能性は要旨からは不明 - baseline の具体的構成や比較条件の詳細は要旨からは不明 - curriculum の設計や感度、他の curriculum 手法との比較は要旨からは不明 - MoE の expert 数や router の解釈性の限界については要旨からは不明 - latent モードが完全に不可観測な状況での理論的保証は要旨からは不明

6. 次に読むべき論文は?

- Soft Actor-Critic (SAC) - Mixture-of-Experts (MoE) - curriculum-based training / curriculum learning - model-based control for hybrid dynamical systems - zero-shot generalization in reinforcement learning - legged locomotion および autonomous racing における RL 研究(個別論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Leroy D'Souza, Akash Karthikeyan, Yash Vardhan Pant, Sebastian Fischmeister

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Hybrid dynamical systems result from the interaction of continuous-variable dynamics with discrete events and encompass various systems such as legged robots, vehicles and aircrafts. Challenges arise when the system's modes are characterized by unobservable (latent) parameters and the events that cause system dynamics to switch between different modes are also unobservable. Model-based control approaches typically do not account for such uncertainty in the hybrid dynamics, while standard model-free RL methods fail to account for abrupt mode switches, leading to poor generalization. To overcome this, we propose SAC-MoE which models the actor of the Soft Actor-Critic (SAC) framework as a Mixture-of-Experts (MoE) with a learned router that adaptively selects among learned experts. To further improve robustness, we develop a curriculum-based training algorithm to prioritize data collection in challenging settings, allowing better generalization to unseen modes and switching locations. Simulation studies in hybrid autonomous racing and legged locomotion tasks show that SAC-MoE outperforms baselines (up to 6x) in zero-shot generalization to unseen environments. Our curriculum strategy consistently improves performance across all evaluated policies. Qualitative analysis shows that the interpretable MoE router activates different experts for distinct latent modes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI