日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制御/強化学習arXiv:2505.18201

羽ばたきドローンのハイブリッド制御のための強化学習トウィニング

Reinforcement Twinning for Hybrid Control of Flapping-Wing Drones

シェア:XThreadsFacebookLINEはてブBluesky

適応デジタルツインと強化学習を組み合わせ、実環境と仮想環境間で知識を転移しながら羽ばたきドローンの飛行制御を行うハイブリッド手法を提案。

詳しい要約

1. どんなもの?

- フラッピング翼ドローン(flapping-wing drone)の飛行制御のためのハイブリッド制御フレームワーク。 - model-free(RL)とmodel-based(adjoint formulation+adaptive digital twin)の2エージェントを統合。 - reinforcement twinning algorithm を採用し、実環境とdigital twin間で知識共有。 - 縦方向制御(longitudinal control)を対象に評価。

2. 先行研究と比べてどこがすごい?

- 純粋なdata-driven RLはsample-efficiencyが低く、危険な探索を要する点を問題視。 - 純粋なmodel-based手法と純粋なmodel-free手法の両方に対し、性能・robustness・sample efficiencyを改善。 - 物理モデルをガイドに用いるhybrid AI-physics枠組みを実現。 - 3種のadaptive-model初期化すべてで優位性を確認。

3. 技術・手法の肝は?

- model-based成分:adjoint formulationと、live trajectoriesから継続的に同定するadaptive digital twin。 - model-free成分:RL。 - 知識共有:transfer learning、imitation learning、実環境とdigital twin間のshared experience。 - policy refereeがdigital-twin性能とreal-to-virtual consistency ratioに基づき実環境で行動するエージェントを選択。 - 対象はquasi-steady aerodynamic forcesで駆動される非線形時変系としてモデル化。

4. どうやって有効だと検証した?

- flapping-wing droneのlongitudinal controlで評価。 - 3つのadaptive-model初期化で検証: - 既存データからのoffline identification。 - random initialization+fully online identification。 - biased parametersでのoffline pre-training+online adaptation。 - すべてのケースで純粋なmodel-free/model-based手法より性能・robustness・sample efficiencyが向上。

5. 議論はある?

- 純粋data-driven手法のsample-efficiencyと安全な探索の課題をhybrid化で緩和。 - digital twinの品質とreal-to-virtual consistency ratioがpolicy refereeの判断に影響。 - 初期化の違いに対する頑健性を示す一方、詳細な限界や失敗ケースは要旨からは不明。 - 実機展開時の安全性や計算コストに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- reinforcement twinning algorithmの原論文・関連研究。 - adaptive digital twinやadjoint formulationを用いたmodel-based controlの文献。 - sim-to-real transfer learning/imitation learningに関する研究。 - flapping-wing droneの空気力学モデル(quasi-steady aerodynamic forces)に関する文献。 - hybrid model-free/model-based RLのサーベイ。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Romain Poletti, Lorenzo Schena, Lilla Koloszar, Joris Degroote, Miguel Alfonso Mendez

分類: cs.RO, cs.LG

原文アブストラクト

Controlling flapping-wing drones requires controllers that handle time-varying, nonlinear, underactuated dynamics from incomplete, noisy sensor data. Recent advances in artificial intelligence (AI), particularly reinforcement learning (RL), have opened new perspectives for addressing such complex control problems through data-driven policy optimization from interaction with the environment. Yet purely data-driven methods are sample-inefficient, demanding extensive, sometimes unsafe exploration, especially without guiding physical models. This motivates hybrid AI-physics frameworks. This article proposes a hybrid model-free/model-based flight-control approach using the reinforcement twinning algorithm. The model-based (MB) component uses an adjoint formulation and an adaptive digital twin continuously identified from live trajectories; the model-free (MF) component uses RL. The two agents share knowledge via transfer learning, imitation learning, and shared experience between the real environment and the digital twin, coordinated by a policy referee that selects which agent acts in reality based on digital-twin performance and a real-to-virtual consistency ratio. The framework is evaluated for the longitudinal control of a flapping-wing drone, modelled as a nonlinear time-varying system driven by quasi-steady aerodynamic forces. The hybrid strategy is tested under three adaptive-model initializations: (1) offline identification from existing data, (2) random initialization with fully online identification, and (3) offline pre-training with biased parameters followed by online adaptation. In all cases, the hybrid framework improves performance, robustness, and sample efficiency over purely model-free and purely model-based approaches.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI