CURIO: 好奇心駆動によるテスト時学習でオープンエンドな発見を実現

CURIOは、open-ended discoveryのためのcuriosity-driven test-time learningフレームワーク。 - 凍結LLMでの探索は過去解をcontextで再利用できるが、テスト問題での成功・失敗からモデルを更新できない。 - RLは適応を可能にするが、高報酬trajectoryを強く優先すると、低報酬でも有望な方向を早期に抑制しうる。 - CURIOはtask feedbackに加え、Intrinsic Curiosity World Model (ICWM)を併用する。 - ICWMはpolicyのhidden-state表現の遷移を学習し、policyのtop-k外のsampled tokensにprediction-error bonusを与える。 - Epoch normalizationとannealed weightでpolicy更新への寄与を調整する。

先行研究と比べての新規性は以下。 - 凍結LLMのcontext再利用ではモデル更新ができない点を、RLによるtest-time adaptationで補う。 - しかし高報酬優先のRLは低報酬の有望方向を早期に抑制しうるという課題に対し、curiosity信号を補完的に導入。 - ICWMによるprediction-error bonusをpolicyのtop-k外のsampled tokensに与える点が特徴。 - 6つの数学的発見タスクとsingle-cell denoisingで、task-only RL controlと比較して改善。 - 3-run平均で5つの数学目的で改善、Circle Packingでは報告済み最高性能に匹敵。 - 全テストscaleでdenoising ScoreとMSEを改善し、Hadamardで18.3%、denoising Scoreで10.8%の相対改善。

技術・手法の肝は以下。 - Intrinsic Curiosity World Model (ICWM)を導入し、policyのhidden-state表現における遷移を学習。 - そのprediction errorをbonusとして、policyのtop-k選択外のsampled tokensに付与。 - Epoch normalizationとannealed weightにより、curiosity bonusのpolicy更新への寄与を調整。 - task feedbackとcuriosity信号を組み合わせ、open-ended discoveryの探索を促進。 - Qwen3 backboneを8Bから235Bまで用い、test-time learningを実施。

有効性の検証は以下。 - 6つの数学的発見タスクとsingle-cell denoisingで評価。 - Qwen3 backboneを8Bから235Bまで使用。 - 3-run平均で、matched task-only RL controlに対し5つの数学目的で改善。 - Circle Packingでは報告済み最高性能に匹敵。 - 両held-out corporaで全テストscaleにおいてdenoising ScoreとMSEを改善。 - 相対改善はHadamardで18.3%、denoising Scoreで10.8%。 - Code-diversity測定で生成プログラムの構造的variationが増加。

議論・限界は以下。 - 高報酬trajectoryを強く優先するRLは、低報酬だが有望な方向を早期に抑制しうるという問題意識。 - curiosityを補完的探索信号として用いることの有効性を示唆。 - Code-diversityの増加が、curiosityがopen-ended discoveryの学習に寄与することを支持。 - ただし要旨からは、計算コスト、スケーラビリティの限界、他のタスクへの一般化については不明。 - 要旨からは不明な点が多い。

次に読むべき論文は以下。 - 要旨で参照/比較されている研究: task-only RL control、Circle Packingの報告済み最高性能、Qwen3 backbone。 - 関連手法: reinforcement learning (RL)、Intrinsic Curiosity World Model (ICWM)、test-time learning、open-ended discovery。 - 同分野の定番: curiosity-driven exploration、world model、LLMのtest-time adaptation。 - 具体的な論文名は要旨からは不明。