日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2505.15143

学習履歴のフィルタリングによる文脈内強化学習の強化

Filtering Learning Histories Enhances In-Context Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

強化学習の学習履歴を改善度と安定性で重み付け・選別し、文脈内強化学習が元アルゴリズムの劣った挙動を引き継ぐ問題を抑える手法を提案した。

詳しい要約

1. どんなもの?

- Transformer models (TMs) の in-context reinforcement learning (ICRL) 能力を対象とした研究 - 学習履歴 (learning histories) をデータセット前処理で再重み付け・フィルタリングする learning history filtering (LHF) を提案 - source RL algorithm 由来の suboptimal な挙動の継承問題を扱う - 既存の SOTA ICRL アルゴリズムと組み合わせ可能な汎用的手法

2. 先行研究と比べてどこがすごい?

- 従来の ICRL は source RL algorithm の完全な学習履歴を模倣して事前学習し、suboptimal な挙動を継承しうる - 既存研究はアルゴリズム側の改良が中心で、データセット前処理で source suboptimality を避ける試みは無い - 著者らによれば LHF は dataset preprocessing で source suboptimality を回避する最初の手法 - weighted empirical risk minimization の成功に動機づけられ、SOTA ICRL アルゴリズムに後付け可能

3. 技術・手法の肝は?

- 学習履歴を improvement と stability の特性に基づいて再重み付け (reweighting) しフィルタリングする - weighted empirical risk minimization に着想を得た単純かつ効果的な前処理 - フィルタリング後の履歴で Transformer を事前学習し ICRL を強化 - 具体的な重み付け関数や閾値の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 著名な ICRL ベンチマークで実験 - 離散環境と連続ロボットマニピュレーションタスクの両方をカバー - AD, DPT, DICP の 3 つの SOTA ICRL アルゴリズムを backbone として検証 - 多様な suboptimal シナリオ、ハイパーパラメータ、サンプリング戦略で頑健性を確認 - noisy data 存在下で LHF の優位性がより顕著になることを報告

5. 議論はある?

- noisy data 下でフィルタリングの重要性が増す点を強調 - ハイパーパラメータやサンプリング戦略への感度が限定的であることを示唆 - 一方、フィルタリング基準の理論的保証や最適な重み付け設計については要旨からは不明 - 他分野の ICRL タスクへの一般化可能性は要旨からは不明

6. 次に読むべき論文は?

- AD (Algorithm Distillation) - DPT (Decision-Pretrained Transformer) - DICP - weighted empirical risk minimization 関連研究 - in-context reinforcement learning (ICRL) の代表的サーベイ/基礎論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weiqin Chen, Xinjie Zhang, Dharmashankar Subramanian, Santiago Paternain

分類: cs.LG, cs.RO

原文アブストラクト

Transformer models (TMs) have exhibited remarkable in-context reinforcement learning (ICRL) capabilities, allowing them to generalize to and improve in previously unseen environments without re-training or fine-tuning. This is typically accomplished by imitating the complete learning histories of a source RL algorithm over a substantial amount of pretraining environments, which, however, may transfer suboptimal behaviors inherited from the source algorithm/dataset. Therefore, in this work, we address the issue of inheriting suboptimality from the perspective of dataset preprocessing. Motivated by the success of the weighted empirical risk minimization, we propose a simple yet effective approach, learning history filtering (LHF), to enhance ICRL by reweighting and filtering the learning histories based on their improvement and stability characteristics. To the best of our knowledge, LHF is the first approach to avoid source suboptimality by dataset preprocessing, and can be combined with the current state-of-the-art (SOTA) ICRL algorithms. We substantiate the effectiveness of LHF through a series of experiments conducted on the well-known ICRL benchmarks, encompassing both discrete environments and continuous robotic manipulation tasks, with three SOTA ICRL algorithms (AD, DPT, DICP) as the backbones. LHF exhibits robust performance across a variety of suboptimal scenarios, as well as under varying hyperparameters and sampling strategies. Notably, the superior performance of LHF becomes more pronounced in the presence of noisy data, indicating the significance of filtering learning histories.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI