日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

制御/モデルベースRLarXiv:2509.08241

リアルタイム再帰的モデル更新によるサンプル効率の高いオンライン制御方策学習

Sample-Efficient Online Control Policy Learning with Real-Time Recursive Model Updates

シェア:XThreadsFacebookLINEはてブBluesky

クープマン理論に基づき、データセットサイズに依存しない軽量な再帰的モデル更新でオンライン制御方策を学習する手法を提案し、従来の10%以下のデータで同等性能を実現した。

詳しい要約

1. どんなもの?

- データ駆動制御のためのサンプル効率が高く軽量な学習パイプライン「Recursive Koopman Learning (RKL)」の提案。 - Koopman theory により非線形系を observables 上の線形モデルとして表現し、データから最適化しやすい形でモデルを逐次更新する。 - ハードウェア上での学習など、データ取得・計算資源が限られる状況を想定。 - 高性能な C++ コードベースをオープンソース化。

2. 先行研究と比べてどこがすごい?

- 多くの現代のデータ駆動手法は大規模データセットを必要とし、リアルタイムのモデル更新が困難で動的環境での性能が制限される。 - RKL はモデル更新の計算量がデータセットサイズに依存せず、軽量かつ高速。 - ベンチマークと比較して 10% 未満のデータでデータ駆動制御器合成を実現し、サンプル効率と安定性を改善。

3. 技術・手法の肝は?

- Koopman theory に基づき、非線形系を observables 上の線形モデルとして表現。 - データから最適化しやすい設定で Koopman 表現を逐次(recursive)更新するパイプライン。 - モデル収束の十分条件を同定し、RKL が軽量・高速で計算量がデータセットサイズに依存しないことを形式的アルゴリズム解析で支持。

4. どうやって有効だと検証した?

- シミュレーション上の planar two-link arm で検証。 - soft actuators を備えたハイブリッド非線形ハードウェアシステムでも検証。 - リアルタイムの再帰的 Koopman モデル更新がデータ駆動制御器合成のサンプル効率と安定性を改善し、ベンチマーク比で 10% 未満のデータで済むことを示した。

5. 議論はある?

- モデル収束の十分条件と形式的アルゴリズム解析を提示。 - 計算量がデータセットサイズに依存しない点を主張。 - 具体的な限界や失敗ケース、議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Koopman theory に基づくデータ駆動制御の関連研究(要旨では個別論文名の参照なし)。 - 比較対象のベンチマークとなるデータ駆動制御手法(具体名は要旨からは不明)。 - オープンソース化された C++ コードベースおよびプロジェクトウェブサイト(https://www.zixinatom990.com/home/robotics/corl-2025-recursive-koopman-learning)を参照。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixin Zhang, James Avtges, Todd D. Murphey

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Data-driven control methods need to be sample-efficient and lightweight, especially when data acquisition and computational resources are limited -- such as during learning on hardware. Most modern data-driven methods require large datasets and struggle with real-time updates of models, limiting their performance in dynamic environments. Koopman theory formally represents nonlinear systems as linear models over observables, and Koopman representations can be determined from data in an optimization-friendly setting with potentially rapid model updates. In this paper, we present a highly sample-efficient, Koopman-based learning pipeline: Recursive Koopman Learning (RKL). We identify sufficient conditions for model convergence and provide formal algorithmic analysis supporting our claim that RKL is lightweight and fast, with complexity independent of dataset size. We validate our method on a simulated planar two-link arm and a hybrid nonlinear hardware system with soft actuators, showing that real-time recursive Koopman model updates improve the sample efficiency and stability of data-driven controller synthesis -- requiring only <10% of the data compared to benchmarks. The high-performance C++ codebase is open-sourced. Website: https://www.zixinatom990.com/home/robotics/corl-2025-recursive-koopman-learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI