日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

AI安全性arXiv:2606.26057

解雇不能なセーフティカーネル:AIエージェントと他の脱出可能なAIシステムのための実行時AIアライメント

The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems

シェア:XThreadsFacebookLINEはてブBluesky

AIエージェントの制御をエージェント自身のランタイム内に置くのではなく、プロセス分離や事前強制などの特性を満たす外部の認可層(セーフティカーネル)を提案し、Rustで実装して形式的検証を行った。

詳しい要約

1. どんなもの?

- AIエージェントがツールやAPIにアクセスする際の制御を、エージェントのランタイム内ではなく外部の安全カーネルで行う「実行時AIアラインメント」を提案。 - エージェント自身がランタイムに十分な到達性を持つ「escapable AI systems」を対象とし、その制御をアーキテクチャレベルで保証する。 - Rustによる参照実装「Unfireable Safety Kernel」を提示し、4つの特性(プロセス分離、事前アクション強制、フェイルクローズド、外部検証可能な署名付き証拠)を満たす。

2. 先行研究と比べてどこがすごい?

- 従来の制御はシステムプロンプトや出力フィルタなどエージェントのアドレス空間内にあり、入力によって到達可能だった。 - 本研究は、制御をエージェントの信頼境界外に置くことで、エージェントが制御を呼び出すのではなく、制御がエージェントを拘束する点で根本的に異なる。 - 3つの現代的なエージェント制御プレーンと比較し、エージェントに選択権がないことを示す。

3. 技術・手法の肝は?

- 4つの特性を満たす認可メカニズムを設計:プロセス分離、構造的に唯一の経路での事前アクション強制、リクエストとシステムの両レベルでのフェイルクローズド、外部で検証可能な署名付き証拠。 - Rust実装で、フェイルクローズド不変条件をSMT定理(Z3)と有界モデル検査(Kani、4/4ハーネス)で機械検証。 - PythonからRustへの移行をバイト等価性(1000/1000フィクスチャ、17/17敵対クラス)でゲート。

4. どうやって有効だと検証した?

- 生きたescapable AIシステム(決定論的自己改善ワールドモデル)をカーネルで統治し、自己改変シームを駆動する脱出志向の敵対者と対戦。 - 1,000回の自己改変のうち、安全クリティカルコアへの704回の試みはすべて拒否され、脱出なし。オペレータキルスイッチ下の追加300回も拒否。 - 別の6,240回の認可ラウンドトリップでもバイパス成功なし。

5. 議論はある?

- 実行時アラインメントは訓練時(RLHF、Constitutional AI)や推論時アラインメントを補完する位置づけ。 - アーキテクチャ制御の必要性を主張するが、具体的な限界や議論は要旨からは不明。

6. 次に読むべき論文は?

- RLHF (Reinforcement Learning from Human Feedback) - Constitutional AI - 推論時アラインメント(inference-time alignment) - エージェント制御プレーンを主張する3つの現代システム(具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seth Dobrin, Łukasz Chmiel

分類: cs.AI, cs.CR, cs.LG

原文アブストラクト

AI agents are granted access to tools, APIs, and other infrastructure, making them active principals in those systems. The dominant approach places controls inside the agent's own runtime: system prompts, output filters, and guardrail libraries. Any control in the agent's address space is reachable by inputs that influence it; this generalizes to any AI system with sufficient reach into its own runtime, a class we term escapable AI systems. We identify four properties that an authorization mechanism must satisfy for architectural control rather than for cooperative requests: process separation, pre-action enforcement on a structurally only path, fail-closed at both the request and system levels, and externalized signed evidence verifiable outside the controlled system's trust boundary. We position this layer as execution-time AI alignment, complementing training-time alignment (RLHF, Constitutional AI) and inference-time alignment. We present the Unfireable Safety Kernel, a Rust reference implementation realizing all four. Its fail-closed invariant is machine-checked at two levels: an SMT theorem (Z3) and an exhaustive bounded-model-checking proof of the production decision function (Kani, 4/4 harnesses). A Python-to-Rust migration was gated on byte-equivalence (1000/1000 fixtures; 17/17 adversarial classes). We evaluate the kernel governing a live, escapable AI system, a deterministic, self-improving world model, against an escape-seeking adversary driving its real self-modification seam: across 1,000 self-modifications, all 704 attempts on the safety-critical core are refused, with no escape; a further 300, under the operator kill switch, are also refused. A separate campaign of 6,240 authorization round-trips had no successful bypass. Against 3 contemporary systems claiming the agent control plane, the agent invokes control; here, it lacks that choice.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI