本論文は、モデルベース強化学習(Model-Based RL)における安全リスク信号としてのモデル不確実性の有効性を疑問視し、世界からのフィードバック(world feedback)に基づく学習信号の重要性を主張する。具体的には、安全なモデルベース制御の文脈で、モデル内部の不確実性ペナルティが衝突率を悪化させることを示し、代わりにセンサー由来のマージン、衝突までの時間、アウトカム教師付きフィードバックモデルなどの世界フィードバック信号を用いることで衝突率を大幅に低減できることを実証する。さらに、これらの知見からRLxF(Reinforcement Learning from World Feedback)の3つの設計原則を抽出し、LLMアライメントにおけるverifier-basedやRLHFアプローチにも適用可能であると論じる。
要旨で参照されている関連研究として、RLxFプログラム、RLHF(Reinforcement Learning from Human Feedback)、outcome-trained reward models、モデルベース強化学習の安全対策に関する研究が挙げられる。具体的には、モデル予測制御(MPC)や不確実性推定を用いた安全な強化学習の手法、およびLLMアライメントにおけるverifier-basedアプローチやRLHFの研究を読むことが推奨される。
The RLxF programme argues that learning signals should come from world feedback rather than from internal model proxies. We instantiate this position in safe model-based control and distil it into three concrete design principles. Empirically, across four world-model architectures spanning a 2x MSE range, MPC planning is statistically equivalent (TOST, n=200), and dynamics-based uncertainty penalties increase collision rates from 26% to 34%: the standard MBRL safety proxy is anti-correlated with safety in this regime. Replacing the model-internal proxy with three world-feedback signals (a sensor-derived margin via minimum lidar, a temporal signal via time-to-collision, and an outcome-supervised feedback model g_psi trained on prior collision labels, structurally analogous to outcome-trained reward models in RLHF) reduces collisions to 1-14% without retraining the world model or the planner. The mechanism is structural: model uncertainty has support over state-prediction space, whereas task risk has support over constraint boundaries, with empirical correlation r < 0.15. From this we extract three RLxF principles (ground risk in world outcomes, validate proxies before deployment, and substitute outcome-trained feedback models when direct world signals are unavailable) and argue they apply equally to model-based control and to verifier-based or RLHF approaches in LLM alignment.