強化学習/不確実性/能動的知覚2026/5/1arXiv:2605.26627

認識の罠を打ち破る：複合不確実性下での能動的知覚

Breaking the Epistemic Trap: Active Perception Under Compound Uncertainty

強化学習において、状態推定と動的モデルの不確実性が相互に絡み合う「認識の罠」が性能を大幅に劣化させることを示し、情報量に基づく能動的探索と適応的安全制約を備えたアーキテクチャを提案した論文。

詳しい要約

1. どんなもの？

強化学習を安全クリティカル領域に展開する際の失敗要因を、個別の不確実性ではなくその相乗作用「Epistemic Trap」として定式化した研究。 - 状態推定には動力学が必要で、動力学学習には正確な状態が必要という循環的結合を指す。 - 模擬locomotion実験で、両不確実性の結合が単独よりはるかに悪い失敗を引き起こすことを示す。 - 安全を情報問題として捉え直し、Adaptive Safety Architectureを提案する。

2. 先行研究と比べてどこがすごい？

従来は動力学変化や不完全観測を個別課題として扱い、受動的(受動的認識論的立場)な頑健性で対処してきた。 - 本研究は両者の相乗的結合を根本的ボトルネックと主張し、加算的予測を超える失敗を実証。 - 受動的頑健性から能動的知覚へのパラダイムシフトを提案する点が新しい。 - 結合度を測る指標と情報探索方針、適応的安全制約を統合する枠組みは先行研究にない。

3. 技術・手法の肝は？

Adaptive Safety Architectureは3要素から成る。 - Compound Uncertainty Coefficient (κ): 状態と動力学の不確実性の結合の強さをmutual-informationで定量化する指標。 - MaxInfoRL目的で統制される情報探索方針: 環境が受動的に明かすのを待たず、動力学を能動的にプローブする。 - Regime adaptive safety constraints: epistemic couplingが高まるにつれ自動的に厳しくなる安全制約。 - これらにより不確実性下で自己の無知を認識し、戦略的に解消する意思決定を目指す。

4. どうやって有効だと検証した？

模擬locomotionにおけるproof-of-concept実験で検証。 - 動力学変化と不完全観測の結合が、単独課題よりはるかに悪い失敗を引き起こすことを示す。 - 観測された劣化は77%で、加算的予測の46%を大きく上回り、複合失敗モードが加算的推論を超えることを実証。 - 提案アーキテクチャ自体の有効性検証の詳細は要旨からは不明。

5. 議論はある？

根本的ボトルネックは個別課題でなくその相乗作用(Epistemic Trap)であると議論。 - 従来の受動的認識論的立場では結合不確実性を解消できないと指摘。 - 安全を情報問題として再定式化し、能動的知覚への転換を主張。 - 限界や反論、実世界適用の議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていない。 - 関連手法としてMaxInfoRL、mutual-informationに基づく情報探索、安全制約付き強化学習、locomotionのsim-to-real研究が挙げられる。 - 同分野の定番としてPOMDP、Bayesian RL、Robust RL、Safe RL、Active Perception、Information-Theoretic RLが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chayan Banerjee, Ethan Goan

分類: eess.SY, cs.RO, cs.SY

原文アブストラクト

Deploying reinforcement learning in safety critical domains, from autonomous vehicles to medical decision support, is constrained by failures arising when systems encounter unfamiliar conditions. We argue that the fundamental bottleneck is not individual challenges like changing dynamics or incomplete observations, but their synergistic interaction, which we term the Epistemic Trap: agents cannot estimate their state without knowing system dynamics, nor learn dynamics without accurate state information. Proof-of-concept experiments in simulated locomotion reveal that combining these uncertainties causes failures far worse than either challenge alone, a 77% observed degradation against the 46% additive prediction, demonstrating that compounding failure modes can emerge and, when they do, far exceed what additive reasoning would predict. Conventional approaches typically adopt a passive epistemic stance that cannot resolve this coupled uncertainty. We propose reframing safety as an information problem. We introduce an Adaptive Safety Architecture built around three contributions. First, the Compound Uncertainty Coefficient ($\kappa$), a mutual-information based metric that quantifies how tightly state and dynamics uncertainties are coupled. Second, information-seeking policies governed by a MaxInfoRL objective that actively probe system dynamics rather than waiting for the environment to reveal itself passively. Third, regime adaptive safety constraints that tighten automatically as epistemic coupling rises. Together, these constitute a paradigm shift from passive robustness to active perception, offering a principled path toward decision making systems that operate under uncertainty, recognize their own ignorance, and act strategically to resolve it.

arXivで原文を読む →arXiv概要ページ

← 論文一覧