日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット学習arXiv:2605.05172

BCでQ関数を作る:模倣学習からQ値を抽出してロボット上で強化学習を行う

When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習(BC)のポリシーからQ関数を抽出し、オンライン強化学習でBCとRLの行動をQ値で切り替えることで、効率的なオフラインからオンラインへの学習を実現する手法Q2RLを提案した。

詳しい要約

1. どんなもの?

- BC はロボット学習で有効だが、デモ収集後のオンライン改善機構を持たない。 - 既存の offline-to-online 学習は、offline データと online 学習の分布不一致により、学習済みの良い行動を置き換えてしまう問題がある。 - 本研究は Q2RL (Q-Estimation and Q-Gating from BC for Reinforcement Learning) を提案。 - BC から Q-function を抽出し、オンライン RL を行う効率的な offline-to-online 学習アルゴリズム。 - 実ロボット RL 設定に適用可能で、接触が多い高精度 manipulation タスクを 1-2 時間のオンライン相互作用で学習。

2. 先行研究と比べてどこがすごい?

- 既存の offline-to-online 学習手法は分布不一致により、以前学習した良い行動を置き換えてしまう。 - Q2RL は BC と RL の行動を Q-value に基づいて切り替えることで、この問題を緩和。 - D4RL と robomimic の manipulation タスクで、SOTA の offline-to-online 学習ベースラインを成功率と収束時間で上回る。 - 実ロボット設定で pipe assembly や kitting などの接触が多い高精度タスクを 1-2 時間で学習し、成功率最大 100%、元の BC ポリシー比で最大 3.75 倍改善。

3. 技術・手法の肝は?

- Q2RL は 2 つの要素から成る。 - (1) Q-Estimation: BC ポリシーから、環境との少数の相互作用ステップを用いて Q-function を抽出。 - (2) Q-Gating: BC と RL ポリシーの行動をそれぞれの Q-value に基づいて切り替え、RL ポリシー訓練用のサンプルを収集。 - これにより、BC の良い行動を保持しつつオンライン RL で改善する。

4. どうやって有効だと検証した?

- D4RL と robomimic ベンチマークの manipulation タスクで評価。 - SOTA の offline-to-online 学習ベースラインと比較し、成功率と収束時間で優位。 - 実ロボット RL 設定で pipe assembly と kitting を検証。 - 1-2 時間のオンライン相互作用で成功率最大 100%、元の BC ポリシー比で最大 3.75 倍改善を達成。

5. 議論はある?

- 要旨からは不明。 - ただし、既存手法の分布不一致による良い行動の置き換え問題を動機として挙げている。 - Q-Gating による行動切り替えがこの問題を緩和する可能性が示唆されるが、詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: D4RL, robomimic, offline-to-online learning ベースライン。 - 関連手法: Behavior Cloning (BC), Reinforcement Learning (RL), Q-function, Q-Estimation, Q-Gating。 - 同分野の定番: offline RL, online RL, imitation learning, D4RL, robomimic。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lakshita Dodeja, Ondrej Biza, Shivam Vats, Stephen Hart, Stefanie Tellex, Robin Walters, Karl Schmeckpeper, Thomas Weng

分類: cs.RO, cs.AI

原文アブストラクト

Behavior Cloning (BC) has emerged as a highly effective paradigm for robot learning. However, BC lacks a self-guided mechanism for online improvement after demonstrations have been collected. Existing offline-to-online learning methods often cause policies to replace previously learned good actions due to a distribution mismatch between offline data and online learning. In this work, we propose Q2RL, Q-Estimation and Q-Gating from BC for Reinforcement Learning, an algorithm for efficient offline-to-online learning. Our method consists of two parts: (1) Q-Estimation extracts a Q-function from a BC policy using a few interaction steps with the environment, followed by online RL with (2) Q-Gating, which switches between BC and RL policy actions based on their respective Q-values to collect samples for RL policy training. Across manipulation tasks from D4RL and robomimic benchmarks, Q2RL outperforms SOTA offline-to-online learning baselines on success rate and time to convergence. Q2RL is efficient enough to be applied in an on-robot RL setting, learning robust policies for contact-rich and high precision manipulation tasks such as pipe assembly and kitting, in 1-2 hours of online interaction, achieving success rates of up to 100% and up to 3.75x improvement against the original BC policy. Code and video are available at https://pages.rai-inst.com/q2rl_website/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI