日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.15614

拡張ベスト・オブ・Nサンプリングによる推論時の柔軟なエンパワーメント

Flexible Empowerment at Reasoning with Extended Best-of-N Sampling

シェア:XThreadsFacebookLINEはてブBluesky

強化学習において、エンパワーメントを報酬ボーナスとして与える代わりに、ベスト・オブ・Nサンプリングを適用し、探索と活用のバランスを柔軟に調整する手法を提案した。

詳しい要約

1. どんなもの?

- 強化学習(RL)における推論行動にempowermentを組み込む新手法を提案。 - 探索と活用のジレンマ(EED)の柔軟な調整を目指す。 - 従来のintrinsically-motivated RLでは報酬にボーナス項としてempowermentを加えていたが、本手法ではbest-of-N(BoN)サンプリングを活用。 - さらにTsalis統計で拡張したBoNサンプリングを提案し、計算コストを維持しつつ政策修正の度合いを調整可能に。 - トイ問題と複雑なlocomotionタスクで有効性を検証。

2. 先行研究と比べてどこがすごい?

- 従来のempowerment導入法は報酬にボーナス項を加えるintrinsically-motivated RLで、empowermentを考慮した政策の学習に遅延が生じ、探索の強調度を必要に応じて調整するのが困難だった。 - 本手法はBoNサンプリングを用いることで、明示的な学習なしに修正された政策を暗黙的に獲得し、EEDのより柔軟な調整を可能にする。 - さらにTsalis統計で拡張したBoNサンプリングにより、計算コストを維持しつつ一般化可能な形で政策修正の度合いを調整できる点が新しい。

3. 技術・手法の肝は?

- empowermentを推論行動に組み込むためにbest-of-N(BoN)サンプリングを適用。 - BoNサンプリングは、ファインチューニングで用いられるトリックで、明示的な学習なしに修正された政策を暗黙的に獲得できる。 - 提案手法では、BoNサンプリングをTsalis統計で拡張し、計算コストを維持しながら政策修正の度合いを一般化可能に調整。 - これにより、探索と活用のバランスを柔軟に調整する。

4. どうやって有効だと検証した?

- トイ問題を通じて、提案手法がEEDのバランスを取る能力を検証。 - さらに、複雑なlocomotionタスクを解くRLの性能を向上させることを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:intrinsically-motivated RL、best-of-N (BoN) sampling、Tsalis統計。 - 関連手法:empowerment、exploration-exploitation dilemma (EED)。 - 同分野の定番:locomotionタスクにおけるRL手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taisuke Kobayashi

分類: cs.LG

原文アブストラクト

This paper proposes a novel method that incorporates empowerment when reasoning actions in reinforcement learning (RL), thereby achieving the flexibility of exploration-exploitation dilemma (EED). In previous methods, empowerment for promoting exploration has been provided as a bonus term to the task-specific reward function as an intrinsically-motivated RL. However, this approach introduces a delay until the policy that accounts for empowerment is learned, making it difficult to adjust the emphasis on exploration as needed. On the other hand, a trick devised for fine-tuning recent foundation models at reasoning, so-called best-of-N (BoN) sampling, allows for the implicit acquisition of modified policies without explicitly learning them. It is expected that applying this trick to exploration-promoting terms, such as empowerment, will enable more flexible adjustment of EED. Therefore, this paper investigates BoN sampling for empowerment. Furthermore, to adjust the degree of policy modification in a generalizable manner while maintaining computational cost, this paper proposes a novel BoN sampling method extended by Tsalis statistics. Through toy problems, the proposed method's cability to balance EED is verified. In addition, it is demonstrated that the proposed method improves RL performance to solve complex locomotion tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI