日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

表現学習arXiv:2605.05029

予測と因果のギャップ:不可能性定理と大規模ニューラル証拠

The Predictive-Causal Gap: An Impossibility Theorem and Large-Scale Neural Evidence

シェア:XThreadsFacebookLINEはてブBluesky

予測表現学習が環境ではなくシステムを捉えるべきところ、環境を優先してしまう系統的な失敗モードを発見し、その構造的原因を理論と大規模実験で示した論文。

詳しい要約

1. どんなもの?

- 予測表現学習における系統的な失敗モードを報告 - 線形ガウス動力学を予測する2695のニューラルネットワーク構成を訓練 - 最適エンコーダがモデル化すべきシステムではなく環境を追跡 - 平均因果忠実度(システム自由度へのエンコーダ感度の割合)は0.49 - 0.70を超える構成は2.5%のみ - 次元が増すと失敗が激化:N=100で最適エンコーダは因果的に盲目(忠実度~10^{-8}) - 一方で因果表現より92%低い予測誤差を達成 - これは最適化のアーティファクトではなく予測目的の構造的特性であることを証明 - 環境モードがシステムモードより遅いかノイズが少ない場合、母集団リスクの全ての最小化器が前者をエンコード - この予測-因果ギャップを示す動力学の集合はパラメータ空間で開かつ正の測度を持つ - 非線形Duffing-GRUスイープでは、制約なし予測器が55%のタスクで環境支配表現を学習(95% CI 41–68%)、操作的地盤では24%(p=2.3e-3) - 環境シフト下での分布外MSE膨張の中央値は1.82倍対1.00倍 - 操作的地盤(損失をシステム観測量に制限)は…

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごいかは要旨からは不明 - 予測表現学習の失敗モードを大規模に実証し、不可能性定理を証明した点が新規 - 従来の予測目的が因果表現を学習するという暗黙の仮定に反する結果 - 環境がシステムより遅い/低ノイズの場合、最適エンコーダが環境をエンコードすることを証明 - このギャップがパラメータ空間で開かつ正の測度を持つことを示した - 非線形設定でも環境支配表現が55%で発生することを実証

3. 技術・手法の肝は?

- 線形ガウス動力学を予測する2695のニューラルネットワーク構成を訓練 - 因果忠実度:エンコーダ感度のうちシステム自由度に割り当てられた割合を測定 - 予測目的の母集団リスク最小化器の理論解析 - 環境モードとシステムモードの速度・ノイズ特性の比較 - 非線形Duffing-GRUスイープ:制約なし予測器 vs 操作的地盤(損失をシステム観測量に制限) - 分布外MSE膨張の測定 - システム-環境境界の明示的導入の効果を検証

4. どうやって有効だと検証した?

- 2695のニューラルネットワーク構成で因果忠実度を測定 - 平均因果忠実度0.49、0.70超は2.5%のみ - N=100で忠実度~10^{-8}、予測誤差は因果表現より92%低い - 理論証明:予測目的の構造的特性 - 非線形Duffing-GRUスイープ:制約なし55% vs 操作的地盤24%(p=2.3e-3) - 分布外MSE膨張中央値1.82倍 vs 1.00倍 - 操作的地盤はギャップを部分的に抑制するが因果忠実度は回復しない

5. 議論はある?

- 予測-因果ギャップは学習の構造的限界 - 自己教師あり表現学習、ワールドモデル、スケーリングパラダイムへの影響 - 操作的地盤は部分的抑制のみ - 明示的なシステム-環境境界なしには因果忠実度は回復しない - 環境が遅い/低ノイズの場合に最適エンコーダが環境をエンコードする理論的証明 - ギャップを示す動力学の集合は開かつ正の測度 - 予測性能と因果忠実度のトレードオフ

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法:自己教師あり表現学習、ワールドモデル、スケーリングパラダイム - 同分野の定番:predictive representation learning, causal representation learning, world models, self-supervised learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kejun Liu

分類: cs.LG

原文アブストラクト

We report a systematic failure mode in predictive representation learning. Across 2695 neural network configurations trained to predict linear-Gaussian dynamics, the optimal encoder tracks the environment rather than the system it is meant to model. The mean causal fidelity -- the fraction of encoder sensitivity allocated to system degrees of freedom -- is 0.49, and only 2.5% of configurations exceed 0.70. The failure intensifies with dimension: at N=100, the optimal encoder becomes causally blind (fidelity ~10^{-8}) while achieving 92% lower prediction error than the causal representation. We prove this is not an optimization artifact but a structural property of the predictive objective: when environment modes are slower or less noisy than system modes, every minimizer of the population risk encodes the former. The set of dynamics exhibiting this predictive-causal gap is open and of positive measure in parameter space. In a nonlinear Duffing-GRU sweep, unconstrained predictors learn environment-dominant representations in 55% of tasks (95% CI 41--68%) versus 24% under operational grounding (p=2.3e-3); the median out-of-distribution MSE inflation under environment shift is 1.82x versus 1.00x. Operational grounding -- restricting the loss to system observables -- partially suppresses the gap, but causal fidelity is never recovered without an explicit system-environment boundary. The results identify the predictive-causal gap as a structural limit of learning, with implications for self-supervised representation learning, world models, and the scaling paradigm.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI