日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2605.09595

不整地での四足歩行制御のためのニューロモルフィック強化学習

Neuromorphic Reinforcement Learning for Quadruped Locomotion Control on Uneven Terrain

シェア:XThreadsFacebookLINEはてブBluesky

不整地を歩く四足ロボットの制御に、平衡伝播法を用いた局所学習可能なPPOフレームワークを提案し、従来の誤差逆伝播を使わずに同等の性能を達成した。

詳しい要約

1. どんなもの?

- 四足歩行ロボットの不整地移動制御のための、ニューロモルフィック強化学習フレームワーク。 - 具体的には、equilibrium propagation (EP) ベースの proximal policy optimization (PPO) を提案。 - 制御器は、生物に着想を得た central pattern generator (CPG) ポリシーと残差姿勢調整ポリシーを組み合わせる。 - 従来の backpropagation で訓練されたポリシー・価値ネットワークを、EP による局所学習に置き換える。 - 12-DoF の A1 四足ロボットで、2段階の不整地移動タスクを実行。

2. 先行研究と比べてどこがすごい?

- 従来の強化学習制御器は、大規模並列シミュレーションで backpropagation を用いてオフライン訓練され、固定ポリシーとして展開されるため、地形変化・ペイロード変化・アクチュエータ摩耗などへの適応が制限される。 - 本研究は、局所学習により、オンボードの電力制約下でのエネルギー効率の良い適応を可能にする可能性を示す。 - 従来の backpropagation 訓練 PPO ベースラインと比較して、成功率・速度追従・アクチュエータ電力・身体安定性で同等の性能を達成。 - さらに、backpropagation through time (BPTT) と比べて GPU メモリ効率を 4.3 倍改善。

3. 技術・手法の肝は?

- equilibrium propagation (EP) を用いた局所学習により、従来の backpropagation グラフを置き換える。 - EP 対応の PPO 出力ナッジング信号を導出し、確率的連続制御ポリシーを訓練可能にした。 - 緩和中のポリシー更新を安定化するため、両側比クリッピング機構を導入。 - 制御器は CPG ポリシーと残差姿勢調整ポリシーを組み合わせた構造。 - ポリシーと価値ネットワークを EP 対応の局所学習で訓練。

4. どうやって有効だと検証した?

- 12-DoF の A1 四足ロボットを用いた 2段階の不整地移動タスクで実験。 - 提案制御器が安定したポリシー収束を達成することを確認。 - backpropagation 訓練 PPO ベースラインと比較し、成功率・速度追従・アクチュエータ電力・身体安定性で同等の性能を示した。 - GPU メモリ効率が BPTT 比で 4.3 倍改善されることを検証。

5. 議論はある?

- 局所平衡ベースの学習が高次元の身体化された移動制御を支援できることを示唆。 - 低電力のオンボード適応とファインチューニングのためのアルゴリズム的基盤を提供する可能性。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: backpropagation-trained PPO baseline, backpropagation through time (BPTT)。 - 関連手法: equilibrium propagation (EP), proximal policy optimization (PPO), central pattern generator (CPG)。 - 同分野の定番: 四足歩行の強化学習制御に関する研究(例: モデルフリーRL、シミュレーションから実機への転移)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuangyu Han, Abhronil Sengupta

分類: cs.NE, cs.RO

原文アブストラクト

Reinforcement learning (RL) has enabled robust quadruped locomotion over complex terrain, but most learned controllers are trained offline with backpropagation in massively parallel simulation and deployed as fixed policies, limiting adaptation to terrain variation, payload changes, actuator wear, and other real-world conditions under onboard power constraints. Local learning provides a potential path toward energy-aware on-robot adaptation by replacing global backpropagation graphs with updates driven by local neural states, making the learning rule more compatible with neuromorphic and in-memory computing substrates. This work proposes an equilibrium-propagation (EP)-based proximal policy optimization (PPO) framework for uneven-terrain quadruped locomotion. The controller combines a bio-inspired central pattern generator (CPG) policy with a residual postural adjustment policy, while replacing conventional backpropagation-trained policy and value networks with EP-enabled local learning. To train stochastic continuous-control policies with EP, we derive an EP-compatible PPO output-nudging signal and introduce a two-sided ratio clipping mechanism that stabilizes policy updates during relaxation. Experiments on a 12-DoF A1 quadruped show that the proposed controller achieves stable policy convergence in a two-stage uneven terrain locomotion task. Its locomotion performance is comparable to a backpropagation-trained PPO baseline in success rate, velocity tracking, actuator power, and body stability, while improving GPU memory efficiency by 4.3\(\times\) compared with backpropagation through time (BPTT). These results suggest that local equilibrium-based learning can support high-dimensional embodied locomotion and provide an algorithmic foundation for low-power on-robot adaptation and fine-tuning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI