日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制御/強化学習arXiv:2512.18333

Soft Actor-Criticを用いたクアッドロータの強化学習位置制御

Reinforcement Learning Position Control of a Quadrotor Using Soft Actor-Critic (SAC)

シェア:XThreadsFacebookLINEはてブBluesky

推力ベクトルを直接制御する強化学習エージェントと姿勢PIDを組み合わせ、従来のRPM制御より高速な学習と滑らかな経路追従を実現した。

詳しい要約

1. どんなもの?

- 本論文は、Quadrotorの位置制御のための新しいReinforcement Learning (RL) ベースの制御アーキテクチャを提案する。 - 従来の研究が4つのローターのRPMを直接制御するのに対し、本論文はQuadrotorのthrust vectorを制御することを目的とする。 - RLエージェントは、Quadrotorのz軸に沿った全推力の割合と、目標のRoll (φ) およびPitch (θ) 角度を計算する。 - エージェントは計算した制御信号を現在のYaw角 (ψ) とともにattitude PIDコントローラに送る。PIDコントローラは制御信号をモーターRPMにマッピングする。 - RLアルゴリズムとして、model-free off-policy stochastic RLであるSoft Actor-Critic (SAC) を使用してエージェントを訓練する。

2. 先行研究と比べてどこがすごい?

- 先行研究は4つのローターのRPMを直接制御するアプローチに焦点を当てているのに対し、本論文はthrust vectorを制御する新しいアーキテクチャを提案する。 - 提案するthrust vectorコントローラは、従来のRPMコントローラと比較して訓練時間が短いことを訓練結果が示している。 - シミュレーション結果では、提案手法がより滑らかで正確な経路追従を実現することを示している。

3. 技術・手法の肝は?

- RLエージェントは、Quadrotorのz軸に沿った全推力の割合と、目標のRoll (φ) およびPitch (θ) 角度を出力する。 - これらの制御信号は現在のYaw角 (ψ) とともにattitude PIDコントローラに入力され、PIDコントローラがモーターRPMに変換する。 - RLアルゴリズムにはSoft Actor-Critic (SAC) を採用。SACはmodel-free off-policy stochastic RLアルゴリズムである。 - これにより、RLエージェントは高レベルのthrust vector指令を学習し、低レベルのRPM制御はPIDが担当する階層構造となっている。

4. どうやって有効だと検証した?

- 訓練結果により、提案するthrust vectorコントローラが従来のRPMコントローラよりも訓練時間が短いことを示した。 - シミュレーション結果により、提案手法がより滑らかで正確な経路追従を達成することを示した。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 提案手法の限界や議論については記述がない。

6. 次に読むべき論文は?

- Soft Actor-Critic (SAC) の原論文(Haarnoja et al.) - QuadrotorのRL制御に関する先行研究(RPM直接制御のもの) - attitude PIDコントローラやthrust vector制御に関する古典的制御文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youssef Mahran, Zeyad Gamal, Ayman El-Badawy

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

This paper proposes a new Reinforcement Learning (RL) based control architecture for quadrotors. With the literature focusing on controlling the four rotors' RPMs directly, this paper aims to control the quadrotor's thrust vector. The RL agent computes the percentage of overall thrust along the quadrotor's z-axis along with the desired Roll ($\phi$) and Pitch ($\theta$) angles. The agent then sends the calculated control signals along with the current quadrotor's Yaw angle ($\psi$) to an attitude PID controller. The PID controller then maps the control signals to motor RPMs. The Soft Actor-Critic algorithm, a model-free off-policy stochastic RL algorithm, was used to train the RL agents. Training results show the faster training time of the proposed thrust vector controller in comparison to the conventional RPM controllers. Simulation results show smoother and more accurate path-following for the proposed thrust vector controller.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI