日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

探索/理論arXiv:2606.19476

文脈内学習は内発的好奇心を支えられるか?

Can In-Context Learning Support Intrinsic Curiosity?

シェア:XThreadsFacebookLINEはてブBluesky

大規模系列モデルの文脈内学習能力を利用して、勾配更新なしで学習進捗を推定し、探索ポリシーを訓練できるかを理論的に検証した論文。一般的なマルコフ決定過程では不可能だが、能動学習などの非時間的設定では可能であることを証明した。

詳しい要約

1. どんなもの?

- 本論文は、強化学習における「intrinsic curiosity」を、sequence modelのin-context learning (ICL) 能力で効率的に実現できるかを検討する。 - 従来のlearning progressに基づく報酬は、各trajectory内でgradient descent更新のinner loopが必要で計算コストが高い。 - そこで、ICLをupdate-freeなworld modelとして用い、prediction errorとcounterfactual context manipulationのみでlearning progressを最大化する探索policyを訓練可能か評価する。 - 理論的には一般のMarkov decision process (MDP)では不偏推定が不可能であることを証明し、非時間的設定の広い部分クラスではICL由来報酬が真のlearning progressに収束することを示す。 - 連続・記号環境での制御実験で、ICL駆動フレームワークが最適に探索するdata-collection policyを訓練でき…

2. 先行研究と比べてどこがすごい?

- 従来のlearning progress報酬は、各trajectory内でgradient descent更新のinner loopを必要とし、計算量的にスケールしない。 - 本研究は、sequence modelのICLを即時・更新不要のworld modelとして利用することで、このボトルネックを解消できるか検討する点が新しい。 - 一般MDPではICLベースの報酬が不偏推定できないことを証明し、代わりに非時間的設定(active learningやBayesian Experimental Designを含む)で理論的な正の結果を示す。 - これにより、ICLがintrinsic curiosityをサポートできる条件を明確にし、従来の計算コスト問題を回避する可能性を提示する。

3. 技術・手法の肝は?

- ICLをworld modelとして用い、prediction errorとcounterfactual context manipulationからlearning progressを推定する。 - 探索policyは、ICL由来のintrinsic rewardを最大化するように訓練される。 - 理論的には、一般MDPにおける不偏推定の不可能性を証明し、非時間的設定の部分クラスでICL報酬が真のlearning progressをboundし漸近収束することを示す。 - 実験では、連続・記号環境でICL駆動のdata-collection policyを訓練し、探索性能を評価する。

4. どうやって有効だと検証した?

- 理論的証明:一般MDPではICLベースの報酬が不偏推定できないこと、非時間的設定では真のlearning progressに収束することを証明。 - 制御実験:連続環境と記号環境で、ICL駆動フレームワークが最適に探索するdata-collection policyを訓練できることを実証。 - これにより、理論と実験の両面から有効性を検証している。

5. 議論はある?

- 一般MDPではICLベースの報酬にnuisance termが含まれ、真のlearning progressの推定にバイアスが生じるか、ICLのprediction errorでは実装できないことを示す。 - 一方、非時間的設定(active learningやBayesian Experimental Designを含む)では、ICL由来報酬が真のlearning progressをboundし漸近収束するという正の結果を示す。 - したがって、ICLがintrinsic curiosityをサポートできるかは設定に依存し、一般MDPでは困難であることが議論されている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:learning progressに基づく古典的探索手法、in-context learning (ICL)、active learning、Bayesian Experimental Design。 - 関連手法:gradient descent更新をinner loopで行う従来のcuriosity報酬、sequence modelのICLをworld modelとして用いる手法。 - 同分野の定番:intrinsic motivation、exploration in reinforcement learning、world model、Markov decision process。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eric Elmoznino, Sangnie Bhardwaj, Johannes von Oswald, Rajai Nasser, Blaise Agüera y Arcas, João Sacramento, Rif A. Saurous, Guillaume Lajoie

分類: cs.LG, cs.AI

原文アブストラクト

Effective machine learning depends not only on how we model data, but also on what data we choose to collect. While large sequence models have revolutionized data modeling, the problem of automated data selection, or "intrinsic curiosity", remains a significant challenge. Classic approaches incentivize exploration by rewarding an agent based on its "learning progress", which measures how much a newly acquired observation improves a world model's predictive ability. However, evaluating these rewards traditionally requires expensive inner loops of gradient descent updates within each trajectory, rendering them computationally impractical at scale. In this work, we investigate whether the emergent in-context learning (ICL) capabilities of sequence models can eliminate this bottleneck by serving as immediate, update-free world models. Specifically, we evaluate whether an exploration policy can be trained to maximize learning progress, using solely the prediction errors and counterfactual context manipulations of an in-context learner. We first prove that in general Markov decision processes, this is in fact impossible in an unbiased way: the resulting intrinsic rewards either suffer from nuisance terms that bias their estimation of true learning progress, or they cannot be implemented using an in-context learner's prediction errors. Conversely, we prove a positive result for a broad subclass of non-temporal settings, encompassing active learning and Bayesian Experimental Design: here, ICL-derived rewards successfully bound and asymptotically converge to the true learning progress. We corroborate our theory with controlled experiments across continuous and symbolic environments, demonstrating that our ICL-driven framework successfully trains curious data-collection policies that explore optimally.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI