日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2601.07821

失敗を考慮した強化学習：自己回復を備えた実世界マニピュレーションのための信頼性の高いオフライン・オンライン強化学習

Failure-Aware RL: Reliable Offline-to-Online Reinforcement Learning with Self-Recovery for Real-World Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

実世界での強化学習中に発生する人間の介入が必要な失敗を減らすため、世界モデルベースの安全クリティックとオフラインで訓練された回復ポリシーを統合したFARLを提案し、失敗を73.1%削減しつつ性能を11.3%向上させた。

詳しい要約

1. どんなもの？

- 実世界のロボットマニピュレーションにおける強化学習（RL）のポストトレーニングで、人間の介入が必要な失敗（IR Failures）を最小化する新しいパラダイム「Failure-Aware Offline-to-Online Reinforcement Learning (FARL)」を提案。 - 失敗シナリオを組み込んだベンチマーク「FailureBench」を構築。 - ワールドモデルベースの安全クリティックと、オフラインで訓練されたリカバリポリシーを統合したアルゴリズムを提案。 - シミュレーションと実世界実験で、IR Failuresを73.1%削減し、性能を平均11.3%向上させることを示した。

2. 先行研究と比べてどこがすごい？

- 従来のオフライン-to-オンラインRLは、実世界探索中のIR Failures（水をこぼす、ガラスを割るなど）を考慮していなかった。 - FARLは、これらの失敗を明示的に扱い、オンライン探索中の失敗を防ぐ点で新しい。 - 既存の安全RLやリカバリ手法と比較して、IR Failuresの削減と性能向上を同時に達成した点が優れている。 - 具体的な比較対象は要旨からは不明。

3. 技術・手法の肝は？

- ワールドモデルベースの安全クリティックを導入し、失敗を予測・回避する。 - オフラインで訓練されたリカバリポリシーを活用し、失敗からの回復を図る。 - オフライン-to-オンラインRLの枠組みで、オンライン探索中の失敗を最小化する。 - これらのコンポーネントを統合したアルゴリズムを提案。

4. どうやって有効だと検証した？

- シミュレーションと実世界実験の両方で評価。 - FailureBenchを用いて、IR Failuresの削減と性能・汎化性の向上を検証。 - 実世界RLポストトレーニングにおいて、IR Failuresを73.1%削減、性能を平均11.3%向上させた。 - ビデオとコードは公開されている。

5. 議論はある？

- 要旨からは、手法の限界や議論の詳細は不明。 - IR Failuresの削減と性能向上が示されているが、他の失敗タイプやタスクへの汎化については言及されていない。 - 実世界展開における課題や倫理的問題については触れられていない。

6. 次に読むべき論文は？

- 要旨で参照されている研究は明示されていない。 - 関連手法として、オフライン-to-オンラインRL、安全RL、ワールドモデルベースRL、リカバリポリシー学習などが挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huanyu Li, Kun Lei, Sheng Zang, Kaizhe Hu, Yongyuan Liang, Bo An, Xiaoli Li, Huazhe Xu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Post-training algorithms based on deep reinforcement learning can push the limits of robotic models for specific objectives, such as generalizability, accuracy, and robustness. However, Intervention-requiring Failures (IR Failures) (e.g., a robot spilling water or breaking fragile glass) during real-world exploration happen inevitably, hindering the practical deployment of such a paradigm. To tackle this, we introduce Failure-Aware Offline-to-Online Reinforcement Learning (FARL), a new paradigm minimizing failures during real-world reinforcement learning. We create FailureBench, a benchmark that incorporates common failure scenarios requiring human intervention, and propose an algorithm that integrates a world-model-based safety critic and a recovery policy trained offline to prevent failures during online exploration. Extensive simulation and real-world experiments demonstrate the effectiveness of FARL in significantly reducing IR Failures while improving performance and generalization during online reinforcement learning post-training. FARL reduces IR Failures by 73.1% while elevating performance by 11.3% on average during real-world RL post-training. Videos and code are available at https://failure-aware-rl.github.io.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →