日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2609.28807

ロボティクスにおける適応的継続学習のためのストリーミング深層強化学習の分析

An Analysis of Streaming Deep Reinforcement Learning for Adaptive Continual Learning in Robotics

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みのロボット方策が、ストリーミング深層強化学習を用いて自身・環境・目標の予期せぬ変化にオンラインで適応できることを四足歩行で示した。

詳しい要約

1. どんなもの?

- 本論文は、ロボットの生涯学習における適応的継続学習のためのstreaming deep reinforcement learningの初の分析を提示する。 - 事前学習後、streaming deep RLによりロボットが自身、環境、目標の予期せぬ変化に適応できることを示す。 - 主な実験はquadruped locomotionで、特定のoptimizerとplasticity loss mitigation techniquesを用いたdeep neural network policyが、事前学習からのdomain task knowledgeを活用し、stream learningで多様な変化にオンライン適応できることを示した。 - batch-based on-policy手法を上回り、事前学習済みpolicyと比較してタスク成功率を最大90%改善。 - 追加でrobotic manipulationタスクでも評価し、quadruped locomotionの成功が部分的に実現できるが、安定性と性能の限界があることを示した。

2. 先行研究と比べてどこがすごい?

- 従来の一般的なアプローチは、オフライン訓練データセットをさらに成長させてロバストなpolicyを生成することだった。 - 最近の研究でstream-based deep reinforcement learningの実現可能性は示されていたが、ロボットpolicyを未見の変化に適応させる継続学習フレームワークとして実行可能であることは示されていなかった。 - 本論文は、streaming deep RL for adaptive continual learning in roboticsの最初の分析であり、事前学習後のオンライン適応を実証した点が新しい。 - batch-based on-policy手法を上回り、最大90%の成功率改善を達成した点が先行研究と比べて優れている。

3. 技術・手法の肝は?

- 事前学習フェーズの後、streaming deep reinforcement learningを適用する。 - 更新には最新の経験のみを使用するstream learningを採用。 - 特定のoptimizerとplasticity loss mitigation techniquesを組み合わせたdeep neural network robotic policyを用いる。 - 事前学習からのdomain task knowledgeを活用して、オンラインで多様な変化に迅速に適応する。 - 具体的なoptimizerや手法の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 主な実験としてquadruped locomotionを実施。 - 事前学習済みpolicyと比較して、タスク成功率が最大90%改善することを示した。 - batch-based on-policy手法を上回る性能を確認。 - 追加でrobotic manipulationタスクを評価し、異なるロボット形態やシナリオへの拡張性を検証。 - 結果として、quadruped locomotionの成功がmanipulationでも部分的に実現できるが、安定性と性能の限界があることを示した。

5. 議論はある?

- 本論文の限界と継続的ロボット学習の将来への示唆について議論している。 - robotic manipulationでは、quadruped locomotionの成功が部分的にしか実現せず、安定性と性能の限界があることを報告。 - 具体的な議論の内容は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: stream-based deep reinforcement learningの最近の研究、batch-based on-policy手法。 - 関連手法: plasticity loss mitigation techniques、optimizer。 - 同分野の定番: continual learning、deep reinforcement learning for robotics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Teeratham Vitchutripop, Alyssa Quarles, Wenhe Zhang, Richard Xue, Daniel Rakita

分類: cs.RO

原文アブストラクト

Over the course of a lifetime, robots may encounter novel scenarios unaccounted for in its original training that result in performance degradation. One common approach to mitigating this issue is to further grow the offline training dataset in hopes of producing a policy robust to these changes. In contrast, biological learning occurs moment-to-moment via a stream of experience, unlike the predominantly batch-based and offline nature of deep learning. Although recent works show the feasibility of stream-based deep reinforcement learning, where updates use only the latest experience, none have shown it to be a viable continual learning framework for adapting robotic policies to unseen changes. In this paper, we present the first analysis of streaming deep reinforcement learning for adaptive continual learning in robotics. In particular, we show that, following an initial pretraining phase, streaming deep RL can enable a robot to successfully adapt to unforeseen changes to itself, its environment, or goals. Our primary experiments within quadruped locomotion demonstrate that a deep neural network robotic policy with certain optimizers and plasticity loss mitigation techniques can successfully leverage domain task knowledge from its pretraining to quickly adapt online to diverse changes via stream learning, outperforming batch-based on-policy methods and improving task success rates by up to 90% over the pretrained policy. Furthermore, we perform additional evaluations on robotic manipulation tasks to determine if our previous observations extend to different robotic morphologies and scenarios. Our results show that the successes observed in quadruped locomotion can be partially realized in manipulation with stability and performance limitations. We conclude with a discussion on the limitations of our work and its implications for the future of continual robot learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI