日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.11417

封印監査における符号付き圧縮進捗はグッドハート耐性を持つ

Signed Compression Progress on a Sealed Audit is Goodhart-Resistant

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、世界モデルの圧縮進捗を報酬とする内在的動機付けが、封印された監査損失の符号付き減少として定義されると、累積報酬が監査改善に一致し、偽の進捗を無限に押し上げられないことを証明した。

詳しい要約

1. どんなもの?

圧縮進歩(compression progress)を intrinsic motivation として用いる際の「信頼性」を理論的に精緻化した研究。 - 固定された sealed-audit loss の符号付き減少 r_t = E(theta_{t-1}) - E(theta_t) を intrinsic reward とする。 - 累積報酬が endpoint の audit 改善に telescoping で厳密に一致することを証明。 - 有限 audit panel でも false-positive budget 付きで同様の保証が成立。 - Lean 4 による構造的核心の mechanization と ARC-TGI 上の実験を提示。

2. 先行研究と比べてどこがすごい?

従来の compression progress は「学習にのみ報酬が支払われるから credible」という folk claim に留まっていた。 - 本研究はそれを定理として precise に証明した点が新しい。 - 累積報酬が endpoint audit 改善を超えないことを telescoping で示す。 - 有限 audit panel でも 2 Delta_n(F, delta) の false-positive budget を導出。 - horizon-free であり、時間方向の adaptivity にコストがかからない。

3. 技術・手法の肝は?

鍵は sealed audit 上の符号付き圧縮進歩という accounting signal の設計。 - intrinsic reward を固定 sealed-audit loss の差分 r_t = E(theta_{t-1}) - E(theta_t) と定義。 - 累積和が telescoping し endpoint audit 改善に一致する構造を利用。 - 有限 panel では uniform audit deviation Delta_n(F, delta) で bound を評価。 - Lean 4 で telescoping、finite-audit bound、finite Gibbs、entropy floor を mechanize。

4. どうやって有効だと検証した?

ARC-TGI grid-transformation generators と adaptive holdout attacks で検証。 - 有限 audit deviation が n^{-0.527} でスケールすることを確認。 - signed progress が clip-farming、stream leakage、noisy-TV curiosity に耐えることを示す。 - naive reusable audits は black-box scalar feedback で exploit 可能。 - 標準的 release defenses は攻撃を 2 Delta_n threshold 以下に抑える。

5. 議論はある?

定理は保証が消える failure modes も特定する。 - progress を clip した場合。 - agent 自身の stream 上で score した場合。 - reusable panel 上で高容量モデルに露出した場合。 - Delta_n が vacuous になる neural class に適用した場合。 - これら条件下では保証が失われる点が議論される。

6. 次に読むべき論文は?

要旨で参照/比較されている関連手法・概念を挙げる。 - compression progress を intrinsic motivation とする既存研究。 - ARC-TGI grid-transformation generators。 - Lean 4 mechanization。 - noisy-TV curiosity。 - finite Gibbs と entropy floor に関連する理論。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ayush Mittal, Dhruv Gupta

分類: cs.LG, cs.AI, stat.ML

原文アブストラクト

Compression progress is a long-standing proposal for intrinsic motivation: reward an agent when its world model becomes better at predicting or compressing experience. The folk claim is that this reward is "credible" because it is paid only for learning. We make this precise and prove it. If intrinsic reward is the signed decrease of a fixed sealed-audit loss, r_t = E(theta_{t-1}) - E(theta_t), then cumulative reward telescopes exactly to endpoint audit improvement, so no policy can push reward up indefinitely while true audit performance stagnates or degrades. For finite audit panels the same result holds with a sharp false-positive budget: cumulative empirical reward is at most true audit improvement plus 2 Delta_n(F, delta), the uniform audit deviation of the model class. This is horizon-free: adaptivity over time costs nothing once the sealed panel uniformly controls the class. The theorem also identifies the failure modes: the guarantee disappears if progress is clipped, scored on the agent's own stream, exposed to a high-capacity model on a reusable panel, or applied to a neural class that makes Delta_n vacuous. We give a Lean 4 mechanization of the structural core (telescoping, the finite-audit bound, finite Gibbs, and the entropy floor) and an experiment suite on ARC-TGI grid-transformation generators with adaptive holdout attacks. Experiments confirm the theory: finite-audit deviation scales as n^{-0.527}; signed progress resists clip-farming, stream leakage, and noisy-TV curiosity; naive reusable audits are exploitable by black-box scalar feedback, while standard release defenses keep the attack below the 2 Delta_n threshold. Signed compression progress on a sealed audit is an accounting signal of genuine improvement.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI