WMLLM: 予測してから行動する世界モデルによる自己進化型最適化エージェント

WMLLMは、black-box optimization問題を対象に、LLMの暗黙的知識を活用したpredict-then-act型のworld modelingに基づく自己進化型最適化エージェントフレームワークである。大規模で弱構造・高次元な探索空間に対し、まず有望な方向を予測し、その後候補を生成する。agentic multi-turn refinement、population-based search、reinforcement learningを組み合わせ、探索中に暗黙的world modelと最適化戦略の両方を洗練する。多目的分子最適化ベンチマークで、限られた評価予算下でstate-of-the-artを達成した。

既存手法は直接的な候補生成やtrial-and-error refinementに依存し、sample efficiencyが低い。WMLLMはworld modelingにより、高コストな評価の前に有望な最適化方向を特定できる点が優れる。LLMが暗黙的知識により候補の結果を非自明な精度で予測できるという観察に基づき、predict-then-actを実現。さらに自己進化によりworld modelと戦略を同時改善し、多目的分子最適化で限られた評価予算下のstate-of-the-artを達成した。

肝はpredict-then-act world modelingである。エージェントはまず有望な方向を予測し、次に行動して候補を生成する。これにagentic multi-turn refinement、population-based search、reinforcement learningを組み合わせる。探索中に暗黙的world modelと最適化戦略の両方を洗練する自己進化機構が中核。LLMの暗黙的知識をworld modelとして利用し、評価前に有望方向を絞ることでsample efficiencyを高める。

black-box optimizationタスク、特に多目的分子最適化で実験を行った。WMLLMはsample efficiencyと最終的な最適化性能を改善した。多目的分子最適化ベンチマークでは、限られた評価予算下でstate-of-the-art結果を達成した。

要旨からは不明。

要旨で参照・比較されている研究は明示されていない。関連手法として、black-box optimization、multi-objective molecular optimization、world modeling、reinforcement learning、population-based search、LLM-based optimizationエージェントの定番研究を挙げる。