初期経験によるエージェント学習

- 言語エージェントが自身の経験から学習するための新パラダイム「early experience」を提案する研究。 - early experience は、エージェント自身の行動から生成された interaction data を用い、報酬信号なしで将来状態を supervision として利用する中間的枠組み。 - この枠組み内で implicit world modeling と self-reflection の2戦略を検討。 - 8つの多様な環境と複数の model families で評価。

- 従来の主流は expert data への supervised fine-tuning だが、スケールが難しく汎化が弱い。 - また reinforcement learning は verifiable rewards の欠如や long-horizon rollouts の非効率性から困難。 - 提案手法は報酬なしで自身の interaction data を活用する点で、expert demonstration 依存と RL の間を埋める。 - 実験で effectiveness と out-of-domain generalization が一貫して改善。

- early experience パラダイム: エージェント自身の行動で生成した interaction data を、報酬なしで将来状態の supervision として使う。 - 戦略1 implicit world modeling: 収集した状態を用いて policy を環境 dynamics に接地させる。 - 戦略2 self-reflection: エージェントが自身の suboptimal actions から学び、reasoning と decision-making を改善。 - 詳細なアルゴリズムやモデル構成は要旨からは不明。

- 8つの多様な環境と複数の model families で評価。 - effectiveness と out-of-domain generalization が一貫して改善することを確認。 - verifiable rewards のある環境では、early experience が後続の reinforcement learning の強い基盤となる示唆が得られた。 - 具体的なベースラインや指標は要旨からは不明。

- early experience が imitation learning と完全な experience-driven agents をつなぐ実用的な橋渡しになり得ると主張。 - verifiable rewards 環境での RL への基盤としての可能性を示す。 - 限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明。

- 要旨で明示的に参照/比較された個別研究はない。 - 関連手法として supervised fine-tuning、reinforcement learning、implicit world modeling、self-reflection が挙げられる。 - 同分野の定番として language agents、multi-turn tool use に関する研究を次に読む候補として検討。