日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/制御arXiv:2603.21123

VisFly-Lab: クアッドローター制御の一階強化学習のための統合微分可能フレームワーク

VisFly-Lab: Unified Differentiable Framework for First-Order Reinforcement Learning of Quadrotor Control

シェア:XThreadsFacebookLINEはてブBluesky

クアッドローター制御のための統合微分可能フレームワークを提案し、ホバリング、追跡、着陸、レースの4タスクで一階強化学習を評価。標準的な一階学習の課題を解決するABPTアルゴリズムを導入し、実機への転移可能性も示した。

詳しい要約

1. どんなもの?

- 四旋翼機の制御のための統一的な微分可能シミュレーションフレームワーク「VisFly-Lab」を提案。 - 4つの代表的なタスク(hovering, tracking, landing, racing)に対応。 - 展開指向のダイナミクスを備え、拡張可能な共通インターフェースを提供。 - 一階の強化学習アルゴリズム群も提示。

2. 先行研究と比べてどこがすごい?

- 従来の微分可能シミュレーションを用いた一階強化学習はタスク固有の設定に断片化していた。 - 本研究はマルチタスクに対応した統一フレームワークを提供し、体系的な開発と評価を可能にする。 - 標準的な一階学習の実用的ボトルネック(horizon initializationによる状態カバレッジの制限、部分的に非微分可能な報酬による勾配バイアス)を特定し、ABPTで対処。

3. 技術・手法の肝は?

- Amended Backpropagation Through Time (ABPT)を提案。 - 微分可能なロールアウト最適化、価値ベースの補助目的、訪問状態初期化を組み合わせる。 - これにより訓練のロバスト性を向上。 - 部分的に非微分可能な報酬を持つタスクで特に明確な改善。

4. どうやって有効だと検証した?

- 実験結果により、ABPTが部分的に非微分可能な報酬を持つタスクで最も明確な改善を示し、完全微分可能な設定でも競争力があることを確認。 - さらに、実世界展開の概念実証を提供し、シミュレーションを超えた学習済みポリシーの初期転移可能性を示した。

5. 議論はある?

- 標準的な一階訓練のボトルネックとして、horizon initializationによる限られた状態カバレッジと、部分的に非微分可能な報酬による勾配バイアスを指摘。 - ABPTはこれらの問題に対処するが、完全微分可能な設定では競争力があるものの、非微分可能な報酬を持つタスクでの利点がより顕著。 - 実世界展開の概念実証は示されたが、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Backpropagation Through Time (BPTT)、微分可能シミュレーション、一階強化学習、価値ベースの補助目的が挙げられる。 - 同分野の定番として、モデルベース強化学習や微分可能シミュレーションを用いたロボティクス制御の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fanxing Li, Fangyu Sun, Tianbao Zhang, Shuyu Wu, Dexin Zuo, yufei Yan, Wenxian Yu, Danping Zou

分類: cs.RO

原文アブストラクト

First-order reinforcement learning with differentiable simulation is promising for quadrotor control, but practical progress remains fragmented across task-specific settings. To support more systematic development and evaluation, we present a unified differentiable framework for multi-task quadrotor control. The framework is wrapped, extensible, and equipped with deployment-oriented dynamics, providing a common interface across four representative tasks: hovering, tracking, landing, and racing. We also present the suite of first-order learning algorithms, where we identify two practical bottlenecks of standard first-order training: limited state coverage caused by horizon initialization and gradient bias caused by partially non-differentiable rewards. To address these issues, we propose Amended Backpropagation Through Time (ABPT), which combines differentiable rollout optimization, a value-based auxiliary objective, and visited-state initialization to improve training robustness. Experimental results show that ABPT yields the clearest gains in tasks with partially non-differentiable rewards, while remaining competitive in fully differentiable settings. We further provide proof-of-concept real-world deployments showing initial transferability of policies learned in the proposed framework beyond simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI