日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

全身制御/学習arXiv:2608.00820

LooperMuscle: 構造化Mixture-of-Expertsによるヒューマノイド全身追従の高速かつ安定な学習

LooperMuscle: Fast and Stable Learning of Humanoid Whole-Body Tracking via Structured Mixture-of-Experts

シェア:XThreadsFacebookLINEはてブBluesky

ヒューマノイドの全身追従タスクにおいて、高速学習手法FastSACの性能低下を、構造化MoEアクターと専門家認識型クリティック、寄与度ルーティングリプレイを組み合わせた閉ループ学習で改善し、PPOに近い精度を約45分で達成した。

詳しい要約

1. どんなもの?

LooperMuscleは、ヒューマノイド全身追跡タスクにおいて、高速な学習を実現するFastSACスタイルの手法と、高い追跡精度を持つPPOの間の性能ギャップを埋めるために提案された、構成されたエキスパートポリシー学習フレームワークである。意味的に構造化されたmixture-of-expertsアクター、エキスパート認識型の分布批判者、貢献度ルーティング付きリプレイと遅延カリキュラムスケジューリングを組み合わせ、エキスパートの貢献がデータルーティングを導き、ルーティングされたデータが価値学習を形成し、価値勾配がエキスパートの専門化を洗練するという閉ループを形成する。

2. 先行研究と比べてどこがすごい?

先行研究であるFastSACは訓練時間が約15分と高速だが、PPOと比較して全身追跡精度が著しく低下する。一方、PPOは強い結果を得るが約6時間を要する。LooperMuscleは、この速度と性能のギャップに着目し、FastSACの高い訓練効率を保ちながら追跡品質を回復する点が優れている。具体的には、約45分のシミュレーション訓練でPPOとの残りのギャップの大部分を回復し、実用的な効率を提供する。

3. 技術・手法の肝は?

技術の肝は、3つの構成要素からなる閉ループ学習システムである。1) 意味的に構造化されたmixture-of-expertsアクターは、エキスパートの専門化を促進する。2) エキスパート認識型の分布批判者は、エキスパートごとの価値評価を行う。3) 貢献度ルーティング付きリプレイと遅延カリキュラムスケジューリングは、エキスパートの貢献に基づいてデータをルーティングし、学習の安定性を高める。これらの要素が相互に作用し、エキスパートの貢献がデータ収集を導き、収集されたデータが価値学習を改善し、その価値勾配がエキスパートの専門化をさらに洗練する。

4. どうやって有効だと検証した?

有効性の検証は、ヒューマノイド全身追跡タスクにおいて、LooperMuscleをvanilla FastSACおよびPPOと比較することで行われた。その結果、LooperMuscleはFastSACよりも運動追跡精度で大幅に優れ、PPOよりもはるかに短い壁時計時間(約45分)で、PPOとの性能ギャップの大部分を回復することが示された。具体的な数値として、FastSACは約15分で訓練されるが性能が低く、PPOは約6時間で強い結果を達成するのに対し、LooperMuscleはその中間の時間で高い精度を達成した。

5. 議論はある?

要旨からは、議論の余地や限界についての詳細は不明である。ただし、LooperMuscleはPPOの性能に完全には達しておらず、『残りのギャップの大部分を回復』と表現されていることから、まだ改善の余地があることが示唆される。また、提案手法はシミュレーション訓練に焦点を当てており、実機への適用や一般化については言及されていない。さらに、コードは公開予定であるが、現時点では未公開である。

6. 次に読むべき論文は?

要旨で参照されている研究は、FastSACとPPOである。FastSACは高速な学習を実現する強化学習手法であり、PPOは一般的なポリシー勾配法である。次に読むべき論文としては、これらの基礎となった論文、特にFastSACの元となったSAC(Soft Actor-Critic)や、PPOの元論文が挙げられる。また、mixture-of-expertsや分布強化学習に関する関連研究も有用である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boyi Liu, Qijin Li, Tianqi Yu, Qinrui Yan, Xingxing Zuo

分類: cs.RO

原文アブストラクト

FastSAC-style methods significantly reduce humanoid motion training time but often suffer from notable performance degradation compared with PPO in whole-body tracking tasks. We target this speed-performance gap by introducing LooperMuscle, a composed expert policy learning framework that restores tracking quality while preserving high training efficiency. LooperMuscle combines a semantically structured mixture-of-experts actor, an expert-aware distributional critic, and contribution-routed replay with deferred curriculum scheduling. These three components form a closed training loop in which expert contributions guide data routing, routed data shape value learning, and value gradients in turn refine expert specialization. Empirically, our approach substantially outperforms vanilla FastSAC in motion tracking accuracy while requiring far less wall-clock time than PPO: where FastSAC trains in about 15 minutes but underperforms, and PPO achieves stronger results but requires about 6 hours, LooperMuscle recovers a substantial fraction of the remaining gap to PPO in roughly 45 minutes of simulation training, delivering practical efficiency for rapid policy iteration. The code will be released to benefit the research community at https://loopermuscle.github.io/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI