日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制御/適応学習arXiv:2606.13842

カーネル表現による効率的なドメイン適応型ポリシー学習:非定常外乱下のクアッドローター制御への応用

Efficient Domain-Adaptive Policy Learning via Kernel Representation with Application to Quadrotor Control under Non-Stationary Disturbances

シェア:XThreadsFacebookLINEはてブBluesky

ランダムフーリエ特徴に基づく微分可能なカーネル近似で未知の外乱をモデル化し、オフライン学習とオンライン適応を効率的に行うドメイン適応型ポリシー学習アルゴリズムを提案。クアッドローターの軌道追従タスクでシミュレーションと実機実験により有効性を検証した。

詳しい要約

1. どんなもの?

- 本論文は、非定常外乱下でのquadrotor制御のための、効率的なdomain-adaptive policy learningアルゴリズムを提案する。 - 未知の外乱をdifferentiable kernel approximation(random Fourier featuresベース)でモデル化し、オフライン訓練とオンライン適応を組み合わせる。 - オフラインでは、カーネル係数と帯域幅パラメータをランダムサンプリングして多様な外乱プロファイルを生成し、differentiable simulationと解析的勾配でポリシーを最適化する。 - ハードウェア展開時には、オンライン最小二乗推定によりカーネル係数と帯域幅をリアルタイム更新し、非定常環境に適応する。 - quadrotorの軌道追従タスクで、高忠実度数値シミュレーションとCrazyflieを用いたハードウェア実験により評価される。

2. 先行研究と比べてどこがすごい?

- 従来のdomain-adaptive policy learningでは、sim-to-realギャップを表現するのに十分な表現力と、オンライン適応のための計算効率の両立が困難であった。 - 本手法は、differentiable kernel approximationにより、複雑な外乱を表現しつつ、オンライン最小二乗推定でリアルタイム適応を可能にする。 - オフライン訓練はRTX 4090 GPUで50秒という短時間で完了し、効率性が高い。 - 非定常外乱(突風、ペイロードシフト、地面効果の有無など)に対応できる点が、既存手法と比べて優れている可能性がある。 - ただし、具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- 未知の外乱をdifferentiable kernel approximation(random Fourier featuresに基づく)でモデル化する。 - オフライン訓練では、カーネル係数と帯域幅パラメータをランダムサンプリングし、多様な外乱プロファイルを生成する。 - differentiable simulationと解析的勾配を用いて制御ポリシーを最適化する。 - ハードウェア展開時には、オンライン最小二乗推定によりカーネル係数と帯域幅をリアルタイム更新する。 - これにより、非定常環境への迅速な適応を実現する。

4. どうやって有効だと検証した?

- 高忠実度数値シミュレーションと、Crazyflieを用いたハードウェア実験で評価した。 - タスクはquadrotorの軌道追従。 - 外乱として、複雑な空力効果、風、地面効果、ペイロード変動などを含む。 - これらの条件下で有効性を検証した。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は不明。 - 非定常外乱への適応性能や計算効率の利点が示唆されるが、具体的な議論は記載されていない。 - 一般化可能性や他のロボットへの適用については言及されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、domain randomization、system identification、adaptive control、meta-learningなどが同分野の定番として挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyu Zhou, Mingtian Tan, Vasileios Tzoumas

分類: cs.RO

原文アブストラクト

We present an algorithm for efficient domain-adaptive policy learning via kernel representations. Learning domain-adaptive policies is challenging since it requires an environment representation that is both sufficiently expressive to model complex sim-to-real gaps during offline training, and computationally efficient enough to support rapid online adaptation during deployment. For instance, a quadrotor may encounter time-varying, non-stationary disturbances, such as sudden gusts of wind, payload shifts, or transitions between distinct flight regimes with and without ground effects. To address these challenges, we model unknown disturbances using a differentiable kernel approximation based on random Fourier features. During the offline training phase, we randomly sample kernel coefficients and bandwidth parameters to generate a rich diversity of disturbance profiles. We then optimize the control policy via differentiable simulation with analytical gradients, a process that takes only 50 seconds of training time on an RTX 4090 GPU. During hardware deployment, the policy adapts to non-stationary environments in real time by updating both the kernel coefficients and bandwidth through online least-squares estimation. We evaluate our method on quadrotor trajectory tracking tasks across high-fidelity numerical simulations and hardware experiments using Crazyflie, subjected to various disturbances, including complex aerodynamic effects, wind, ground effects, and payload fluctuations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI