日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
強化学習/自動運転arXiv:2604.07672

実世界アジャイル運転のためのリセットフリー強化学習：実証研究

Reset-Free Reinforcement Learning for Real-World Agile Driving: An Empirical Study

シェア:XThreadsFacebookLINEはてブBluesky

物理的な1/10スケール車両を滑りやすい屋内トラックで手動リセットなしに連続学習させるリセットフリー強化学習を実証し、シミュレーションと実世界での性能差を明らかにした。

詳しい要約

1. どんなもの？

本論文は、実世界のアジャイル運転におけるreset-free強化学習(RL)の実証研究である。 - 物理的な1/10スケール車両が、滑りやすい屋内トラック上で手動リセットなしに連続学習する。 - タイヤ摩擦限界付近の高速運転は、複雑な車両動力学、アクチュエーション遅延、その他の未モデル化効果のため、学習ベース手法にとって特に困難である。 - シミュレーションと実世界の両方で、PPO、SAC、TD-MPC2の3つの代表的なRLアルゴリズムを、residual learningの有無で体系的に比較する。

2. 先行研究と比べてどこがすごい？

先行研究と比べて、以下の点がすごい。 - 実世界のアジャイル運転において、手動リセットなしのreset-free RLを実証的に研究した点。 - MPPIをリセットポリシーとベースポリシーの両方として用い、residual learningを組み合わせた点。 - シミュレーションと実世界のギャップを明確に示した点：シミュレーションではSAC with residual learningが最高リターンだが、実機ではTD-MPC2のみがMPPIベースラインを一貫して上回る。 - residual learningはシミュレーションでは有益だが、実世界ではその優位性が転移せず、性能を悪化させることさえある。

3. 技術・手法の肝は？

技術や手法の肝は以下。 - Model Predictive Path Integral control (MPPI)をリセットポリシーおよびベースポリシーとして使用。 - residual learningを組み合わせ、PPO、SAC、TD-MPC2を比較。 - 物理プラットフォーム上での自律訓練を可能にする。 - シミュレーションと実世界実験の両方で評価。

4. どうやって有効だと検証した？

有効性の検証方法は以下。 - シミュレーションと実世界の両方で、PPO、SAC、TD-MPC2をresidual learningの有無で比較。 - 物理的な1/10スケール車両を滑りやすい屋内トラックで走行させ、手動リセットなしで連続学習。 - 結果として、シミュレーションではSAC with residual learningが最高リターン、実機ではTD-MPC2のみがMPPIベースラインを一貫して上回ることを示した。

5. 議論はある？

議論は以下。 - シミュレーションと実世界の間に明確なギャップがある。 - residual learningはシミュレーションでは有益だが、実世界では優位性が転移せず、性能を悪化させることさえある。 - 実世界でのreset-free RLはシミュレーションにはない独自の課題を提起し、実環境での訓練に特化したアルゴリズム開発が必要である。

6. 次に読むべき論文は？

次に読むべき論文は以下。 - Model Predictive Path Integral control (MPPI)に関する研究。 - PPO、SAC、TD-MPC2の各アルゴリズムの原論文。 - residual learningに関する研究。 - sim-to-real transferやreset-free RLに関する研究。 - 実世界のアジャイル運転に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kohei Honda, Hirotaka Hosogaya

分類: cs.RO

原文アブストラクト

This paper presents an empirical study of reset-free reinforcement learning (RL) for real-world agile driving, in which a physical 1/10-scale vehicle learns continuously on a slippery indoor track without manual resets. High-speed driving near the limits of tire friction is particularly challenging for learning-based methods because complex vehicle dynamics, actuation delays, and other unmodeled effects hinder both accurate simulation and direct sim-to-real transfer of learned policies. To enable autonomous training on a physical platform, we employ Model Predictive Path Integral control (MPPI) as both the reset policy and the base policy for residual learning, and systematically compare three representative RL algorithms, i.e., PPO, SAC, and TD-MPC2, with and without residual learning in simulation and real-world experiments. Our results reveal a clear gap between simulation and real-world: SAC with residual learning achieves the highest returns in simulation, yet only TD-MPC2 consistently outperforms the MPPI baseline on the physical platform. Moreover, residual learning, while clearly beneficial in simulation, fails to transfer its advantage to the real world and can even degrade performance. These findings reveal that reset-free RL in the real world poses unique challenges absent from simulation, calling for further algorithmic development tailored to training in the wild.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →