汎用エージェントは世界モデルを内包する
General agents contain world models
多段階の目標指向タスクに汎化できるエージェントは必ず環境の予測モデルを学習していることを形式的に示し、そのモデルを方策から抽出する方法を提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jonathan Richens, David Abel, Alexis Bellot, Tom Everitt
分類: cs.AI, cs.LG, cs.RO, stat.ML
原文アブストラクト
Are world models a necessary ingredient for flexible, goal-directed behaviour, or is model-free learning sufficient? We provide a formal answer to this question, showing that any agent capable of generalizing to multi-step goal-directed tasks must have learned a predictive model of its environment. We show that this model can be extracted from the agent's policy, and that increasing the agents performance or the complexity of the goals it can achieve requires learning increasingly accurate world models. This has a number of consequences: from developing safe and general agents, to bounding agent capabilities in complex environments, and providing new algorithms for eliciting world models from agents.
