日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2505.19054

RANDPOL: ランダム方策学習によるパラメータ効率の良いエンドツーエンド四足歩行制御

RANDPOL: Parameter-Efficient End-to-End Quadruped Locomotion via Randomized Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

隠れ層をランダム初期化して固定し最終線形層のみを学習することで、少ないパラメータで四足歩行制御を実現し、シミュレーションから実機へのゼロショット転移も示した。

詳しい要約

1. どんなもの?

- 四足歩行ロボットの end-to-end locomotion controller を、学習可能パラメータを大幅に削減して実現する手法 RANDPOL の提案。 - actor と critic の hidden layers をランダム初期化して固定し、最終 linear readout のみを学習。 - Unitree Go2 を対象に、PPO と比較評価。 - zero-shot sim-to-real transfer も実機で実証。

2. 先行研究と比べてどこがすごい?

- 従来の learning-based locomotion controllers は fully trainable な deep neural networks を前提とし、パラメータ数が多い。 - RANDPOL は trainable parameter space を劇的に削減しつつ、固定 random basis で非線形表現力を保持。 - PPO と比較して、同等の locomotion performance をはるかに少ない trainable parameters で達成。 - 学習フェーズの 1 iteration あたりの計算時間も低減し、performance-complexity trade-off が良好。

3. 技術・手法の肝は?

- actor/critic の hidden layers をランダム初期化して固定し、最終 linear readout のみを訓練。 - 固定 random nonlinear features を expressive function class として使う randomized function approximation の数学的基礎に支えられる。 - 最適化問題の次元を大幅に削減し、parameter-efficient な controller class を構成。 - end-to-end locomotion control に適用。

4. どうやって有効だと検証した?

- Unitree Go2 quadruped の end-to-end locomotion control で評価。 - PPO と比較し、locomotion performance、trainable parameters 数、学習フェーズの 1 iteration あたり計算時間、performance-complexity trade-off を検証。 - 学習した RANDPOL controller を物理 Unitree Go2 に zero-shot sim-to-real transfer し、ユーザ発行の forward-velocity および yaw-rate commands 下で実証。

5. 議論はある?

- 構造化された robotic control 問題では、trainable complexity を減らしても simulated および real-world performance と両立し得ることを示唆。 - ただし要旨からは、固定 random basis の選択感度、他タスク・他ロボットへの汎化性、PPO との統計的有意差、実機での command 範囲や robustness の詳細は不明。 - 議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として明示されている Proximal Policy Optimization (PPO)。 - 背景となる randomized function approximation / random features 関連の理論研究。 - 同分野の定番として、learning-based locomotion controllers の end-to-end 学習手法(例: model-free RL による quadruped locomotion)。 - sim-to-real transfer 関連の定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuochen Liu, Rahul Jain, Quan Nguyen

分類: cs.LG

原文アブストラクト

Modern learning-based locomotion controllers typically rely on fully trainable deep neural networks with a large number of parameters. This paper studies a different design point for end-to-end control: whether effective quadruped locomotion can be achieved with a drastically reduced trainable parameter space. We present RANDomized POlicy Learning (RANDPOL), a policy learning approach in which the hidden layers of the actor and critic are randomly initialized and fixed, while only the final linear readout is trained. This yields a parameter-efficient controller class that retains nonlinear expressiveness through a fixed random basis while substantially reducing the dimension of the optimization problem. RANDPOL is supported by the mathematical foundation of randomized function approximation, which provides a principled basis for using fixed random nonlinear features as expressive function classes. We evaluate RANDPOL on end-to-end locomotion control for the Unitree Go2 quadruped and compare it with Proximal Policy Optimization (PPO). The results show that RANDPOL attains comparative locomotion performance with far fewer trainable parameters, lower learning-phase computation time per iteration, and a favorable performance-complexity trade-off. We further demonstrate successful zero-shot sim-to-real transfer of the learned RANDPOL controller on the physical Unitree Go2 under user-issued forward-velocity and yaw-rate commands. These results indicate that, for structured robotic control problems, reducing trainable complexity can remain compatible with effective simulated and real-world performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI