日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.11151

RankQ: 自己教師ありアクションランキングによるオフラインからオンラインへの強化学習

RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking

シェア:XThreadsFacebookLINEはてブBluesky

オフラインからオンラインへの強化学習において、時間差学習に自己教師ありのランキング損失を追加し、アクションの相対的な好みを学習することで、価値関数の過大評価を抑えつつ、より高品質な行動への改善を促進する手法RankQを提案した。

詳しい要約

1. どんなもの?

オフラインからオンラインへの強化学習(offline-to-online RL)において、Q関数を自己教師ありの行動ランキング損失で整形する手法 RankQ を提案する研究。大規模な状態行動空間でデータセットの被覆が限られる状況での critic 学習を改善し、OOD 行動への過度な悲観視による behavior cloning 的制約を避けてオンライン方策改善を促す。

2. 先行研究と比べてどこがすごい?

先行手法は OOD 行動をデータセット行動より低く重み付けする悲観性で価値過大評価を抑えるが、これは behavior cloning のアンカーとして働き、データセット行動が準最適な場合にオンライン改善を妨げる。RankQ は未見行動を一律に罰するのではなく相対的な行動選好を学習し、行動勾配を高品質な挙動へ向ける点が異なる。

3. 技術・手法の肝は?

temporal-difference learning に自己教師ありの multi-term ranking loss を追加し、構造化された行動順序を強制する offline-to-online Q-learning 目的関数。Q関数が相対的な行動選好を表現するよう学習され、行動勾配がより高品質な行動へ向くように整形される。

4. どうやって有効だと検証した?

sparse reward の D4RL ベンチマークで7つの先行手法と比較し、同等以上。vision-based robot learning では pretrained vision-language-action (VLA) モデルの offline-to-online fine-tuning を行い、低データ設定で次善手法より平均42.7%高い simulation success rate、高データ設定で13.7%改善。sim-to-real 転移で real-world cube stacking 成功率が VLA 初期性能の43.1%から88.9%へ向上。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

D4RL、offline-to-online RL の先行手法、vision-language-action (VLA) モデル、behavior cloning をアンカーとする悲観的手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrew Choi, Wei Xu

分類: cs.AI, cs.RO

原文アブストラクト

Offline-to-online reinforcement learning (RL) improves sample efficiency by leveraging pre-collected datasets prior to online interaction. A key challenge, however, is learning an accurate critic in large state--action spaces with limited dataset coverage. To mitigate harmful updates from value overestimation, prior methods impose pessimism by down-weighting out-of-distribution (OOD) actions relative to dataset actions. While effective, this essentially acts as a behavior cloning anchor and can hinder downstream online policy improvement when dataset actions are suboptimal. We propose RankQ, an offline-to-online Q-learning objective that augments temporal-difference learning with a self-supervised multi-term ranking loss to enforce structured action ordering. By learning relative action preferences rather than uniformly penalizing unseen actions, RankQ shapes the Q-function such that action gradients are directed toward higher-quality behaviors. Across sparse reward D4RL benchmarks, RankQ achieves performance competitive with or superior to seven prior methods. In vision-based robot learning, RankQ enables effective offline-to-online fine-tuning of a pretrained vision-language-action (VLA) model in a low-data regime, achieving on average a 42.7% higher simulation success rate than the next best method. In a high-data setting, RankQ improves simulation performance by 13.7% over the next best method and achieves strong sim-to-real transfer, increasing real-world cube stacking success from 43.1% to 88.9% relative to the VLA's initial performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI