日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/故障復旧arXiv:2602.07227

小脳に着想を得た残差制御による故障復旧:推論時適応から構造的定着まで

Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation

シェア:XThreadsFacebookLINEはてブBluesky

凍結した強化学習方策に小脳模倣のオンライン残差補正を加え、再学習なしで故障復旧を実現する枠組みを提案し、MuJoCoで最大66%の性能改善を示した。

詳しい要約

1. どんなもの?

- ロボット政策の実環境での故障回復を目的とした、推論時適応と構造的統合を組み合わせた小脳模倣の残差制御フレームワーク。 - 凍結した強化学習政策にオンライン補正を加え、基盤政策パラメータを変更せずに故障回復を可能にする。 - 小脳の原理(高次元パターン分離、並列マイクロゾーン様残差経路、異なる時間スケールの興奮性/抑制性適格性トレース)を実装。 - 性能駆動型メタ適応により残差権限と可塑性を調整し、通常動作を維持し不要な介入を抑制。 - MuJoCoベンチマークでアクチュエータ、動的、環境摂動下での有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来の再訓練、探索、システム同定が非現実的な故障後状況に対処。 - 基盤政策を凍結したまま推論時にオンライン補正を行う点が新しい。 - 小脳の原理を明示的に取り入れ、高速で局所的な補正を実現。 - 大域的な政策更新を避け、安定性を損なわない。 - 残差補正を政策パラメータに統合することで持続的なロバスト性を付加。

3. 技術・手法の肝は?

- 凍結した強化学習政策に残差制御を追加。 - 固定特徴拡張による高次元パターン分離。 - 並列マイクロゾーン様残差経路。 - 異なる時間スケールで動作する興奮性および抑制性の適格性トレースを用いた局所誤差駆動可塑性。 - 性能駆動型メタ適応による残差権限と可塑性の調整。 - 持続的な残差補正を政策パラメータに統合する構造的統合。

4. どうやって有効だと検証した?

- MuJoCoベンチマーク(HalfCheetah-v5、Humanoid-v5)を使用。 - アクチュエータ、動的、環境の摂動下で評価。 - 中程度の故障でHalfCheetah-v5で最大+66%、Humanoid-v5で+53%の改善。 - 深刻なシフト下では緩やかな性能低下を確認。 - 持続的残差補正の政策パラメータへの統合による補完的ロバスト性を検証。

5. 議論はある?

- 推論時適応と構造的統合の組み合わせが有効であることを示唆。 - 深刻な故障下での性能低下(graceful degradation)が議論の対象。 - 残差権限と可塑性の調整メカニズムの詳細や限界は要旨からは不明。 - 他のタスクや実世界環境への一般化可能性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、強化学習政策の故障回復、残差制御、小脳模倣制御、メタ学習、適格性トレース、MuJoCoベンチマークに関する論文が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nethmi Jayasinghe, Diana Gontero, Spencer T. Brown, Vinod K. Sangwan, Mark C. Hersam, Amit Ranjan Trivedi

分類: cs.LG, cs.RO

原文アブストラクト

Robotic policies deployed in real-world environments often encounter post-training faults, where retraining, exploration, or system identification are impractical. We introduce an inference-time, cerebellar-inspired residual control framework that augments a frozen reinforcement learning policy with online corrective actions, enabling fault recovery without modifying base policy parameters. The framework instantiates core cerebellar principles, including high-dimensional pattern separation via fixed feature expansion, parallel microzone-style residual pathways, and local error-driven plasticity with excitatory and inhibitory eligibility traces operating at distinct time scales. These mechanisms enable fast, localized correction under post-training disturbances while avoiding destabilizing global policy updates. A conservative, performance-driven meta-adaptation regulates residual authority and plasticity, preserving nominal behavior and suppressing unnecessary intervention. Experiments on MuJoCo benchmarks under actuator, dynamic, and environmental perturbations show improvements of up to $+66\%$ on \texttt{HalfCheetah-v5} and $+53\%$ on \texttt{Humanoid-v5} under moderate faults, with graceful degradation under severe shifts and complementary robustness from consolidating persistent residual corrections into policy parameters.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI