日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン→オンライン安全RLarXiv:2610.33494

残り安全予算に基づくガイド仲裁によるオフライン→オンライン安全強化学習

RBGA: Residual-Budget Guide Arbitration for Offline-to-Online Safe Reinforcement Learning in Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

エピソード内で残った安全予算を追跡し、オフラインガイドとオンライン方策の行動をコスト見積もりと比較して適応的に選択する、器用な操作のための安全なオフライン→オンライン強化学習手法を提案した。

詳しい要約

1. どんなもの?

- Dexterous manipulation における Offline-to-Online safe reinforcement learning (O2O safe RL) のためのアルゴリズム RBGA (Residual-Budget Guide Arbitration) を提案する研究。 - ロボットが既存データセットを活用して迅速に技能獲得しつつ、実環境展開時の安全性を保つことを狙う。 - エピソード内で既に消費した安全予算を明示的に追跡し、残り予算に基づいて offline guidance と進化中の online policy を適応的に選択する。

2. 先行研究と比べてどこがすごい?

- 既存の O2O safe RL は、エピソード内で意思決定する際に既に消費した安全予算を明示的に考慮していなかった。 - そのため早期に過大な cost を発生させると、以降の探索や policy improvement の余地が乏しくなる問題があった。 - RBGA は残りエピソード安全予算を明示的に追跡し、step ごとの action arbitration に用いる点が異なる。

3. 技術・手法の肝は?

- 各 step で guide と online policy の行動について cost-to-go 推定値を残り予算と比較する。 - その比較に基づき、offline guidance と evolving online policy の間を step-wise に仲裁 (arbitration) する。 - 残り予算に基づく選択の安全性への含意と、guide-assisted exploration への影響について理論解析を与える。

4. どうやって有効だと検証した?

- Extensive experiments により、RBGA が online policy improvement を効果的に行いつつ強い安全性能を維持することを示した。 - 具体的なタスク・ベースライン・指標は要旨からは不明。 - コードは GitHub (https://github.com/sii-pilab) で公開。

5. 議論はある?

- 残り予算に基づく選択が安全性に与える影響と guide-assisted exploration への効果を理論的に特徴づけている。 - 早期の過大 cost が探索余地を狭めるという既存手法の限界を議論。 - 具体的な限界や失敗ケース、計算コスト等の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として O2O safe RL、offline-to-online reinforcement learning、safe reinforcement learning、cost-to-go estimation、dexterous manipulation の代表的文献を次に読むべき。 - 公開コード (https://github.com/sii-pilab) の実装も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zongyou Yu, Ao Zhou, Xiongbo Shi, Jiayi Guan, Shihang Du, Xudong Zhang, Shangding Gu, Junqiao Zhao, Hanli Wang, Guang Chen

分類: cs.LG

原文アブストラクト

Dexterous manipulation requires robots to leverage existing datasets for rapid skill acquisition while maintaining safety during real-world deployment to prevent damage to the robot or its surroundings. Offline-to-online safe reinforcement learning (O2O safe RL) provides a promising solution for this problem by leveraging prior experience for online improvement under safety constraints, thereby mitigating the sample inefficiency and exploration risk of learning safe policies from scratch. However, existing O2O safe RL approaches do not explicitly account for the safety budget already consumed when making decisions within an episode. Excessive cost incurred early can therefore leave little room for subsequent exploration and policy improvement. To address this limitation, we propose \textbf{R}esidual-\textbf{B}udget \textbf{G}uide \textbf{A}rbitration (RBGA), an algorithm that explicitly tracks the remaining episode safety budget and uses it to adaptively select between offline guidance and the evolving online policy. At each step, RBGA compares the cost-to-go estimates of the guide and online actions against the remaining budget, enabling step-wise action arbitration throughout the episode. We provide theoretical analysis characterizing the safety implications of residual-budget-based selection and its effect on guide-assisted exploration. Extensive experiments demonstrate that RBGA enables effective online policy improvement while maintaining strong safety performance. Our code is available at this \href{https://github.com/sii-pilab}{link}.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI