日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.16692

EfficientTDMPC: サンプル効率的な連続制御のための改良MPC目的関数

EfficientTDMPC: Improved MPC Objectives for Sample-Efficient Continuous Control

シェア:XThreadsFacebookLINEはてブBluesky

TD-MPC系アルゴリズムを基に、モデルアンサンブルと不確実性ペナルティを導入し、データ鮮度向上と計算削減を加えることで、サンプル効率を大幅に改善したモデルベース強化学習手法を提案した。

詳しい要約

1. どんなもの?

- 連続制御向けのサンプル効率の良いモデルベース強化学習手法 - TD-MPCファミリーに基づく - 学習モデルと価値ネットワークを用いたプランナーで推定リターンを最大化 - 推定誤差を低減するため、動的モデルのアンサンブルと不確実性ペナルティを導入 - バッファデータの鮮度向上と計算量削減の実用的改善も追加 - 高いupdate-to-data (UTD)比の恩恵を受けやすくし、サンプル効率をさらに改善 - HumanoidBench-HardとDMC hardの低データ領域でSOTA、DMC easyでSOTAに匹敵

2. 先行研究と比べてどこがすごい?

- TD-MPCファミリーのプランナーは学習モデルと価値ネットワークの誤差を含む - EfficientTDMPCは動的モデルのアンサンブルとロールアウト深さ間のリターン推定平均化で誤差を低減 - 不確実性ペナルティをプランナー目的に追加可能にし、不確実なリターン推定を避ける - バッファデータの鮮度向上と計算量削減の実用的改善を追加 - 高いUTD比の恩恵を受けやすくし、サンプル効率をさらに向上 - 低データ領域でHumanoidBench-HardとDMC hardでSOTA、DMC easyでSOTAに匹敵

3. 技術・手法の肝は?

- TD-MPCファミリーに基づくモデルベース強化学習 - プランナーが推定リターンを最大化する行動列を探索 - 動的モデルのアンサンブルを導入し、モデル間および異なるロールアウト深さ間でリターン推定を平均化 - プランナー目的に不確実性ペナルティを適用するオプションを追加 - バッファデータの鮮度を高め、計算量を削減する実用的改善 - 高いupdate-to-data (UTD)比の恩恵を受けやすくする

4. どうやって有効だと検証した?

- HumanoidBench-HardとDMC hardの低データ領域でサンプル効率のSOTAを達成 - DMC easyでSOTAに匹敵 - 具体的な実験設定や比較手法は要旨からは不明

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- TD-MPCファミリーの論文(TD-MPCなど) - HumanoidBench-HardとDMC hard/easyのベンチマーク論文 - モデルベース強化学習のサンプル効率に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Thomas Evers, Cristian Meo, Wendelin Bohmer, Justin Dauwels, Yaniv Oren

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

We introduce EfficientTDMPC, a sample-efficient model-based reinforcement learning method for continuous control built on the TD-MPC family of algorithms. Central to this family is a planner that aims to find an action sequence that maximizes the estimated return. The return is estimated using a learned model and value networks, each of which can introduce error. EfficientTDMPC proposes to reduce this error in two ways. First, it introduces an ensemble of dynamics models and averages the return estimates across those models and across different rollout depths. Second, it adds the option to apply an uncertainty penalty to the planner objective, yielding a planner that avoids actions with uncertain return estimates. It then adds practical improvements which increase buffer data freshness and reduce compute. Lastly, we find that our contributions enable EfficientTDMPC to benefit more from a higher update-to-data (UTD) ratio, further improving sample efficiency. To the best of our knowledge, in the low data regime of each benchmark, EfficientTDMPC achieves state-of-the-art (SOTA) in terms of sample efficiency on HumanoidBench-Hard and DMC hard, while matching SOTA on DMC easy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI