日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.20152

能動的推論を凸マルコフ決定過程として捉える

Active Inference as a Convex Markov Decision Process

シェア:XThreadsFacebookLINEはてブBluesky

能動的推論(AIF)の期待自由エネルギー最小化を、閉ループ制御ポリシーに対して凸マルコフ決定過程(MDP)として定式化し、鏡像降下アルゴリズムを導出した。

詳しい要約

1. どんなもの?

本論文は、Active Inference (AIF) を政策最適化問題として再定式化し、閉ループ制御政策に対して期待自由エネルギー (EFE) 最小化が凸 Markov Decision Process (MDP) として表現できることを示す。さらに、有限地平線・割引・平均報酬の各設定で EFE を解析し、Mirror Descent (MD) アルゴリズムを導出する。

2. 先行研究と比べてどこがすごい?

従来の AIF は変分原理に基づくが、強化学習 (RL) との理論的関係は不明瞭だった。本論文は EFE 最小化を凸 MDP として定式化し、実用項が状態周辺分布に対して線形で潜在 MDP の報酬最大化と等価であること、認識論的価値が非線形成分として RL と区別されることを明確にした。また、認識論的駆動が政策依存 (performative) 報酬として現れることを示し、AIF を現代の RL や最適化理論に接続する点が新しい。

3. 技術・手法の肝は?

手法の核は、EFE 最小化を凸 MDP として定式化し、政策評価と改善を分離すること。具体的には、現在の状態周辺分布の周りで目的関数を局所線形化し、政策依存報酬を得る Mirror Descent アルゴリズムを導出。これにより actor-critic 法や動的計画法と互換性を持たせる。また、世界モデル学習と政策最適化の結合が performative RL の構造を持つと論じる。

4. どうやって有効だと検証した?

要旨からは、理論的解析とアルゴリズム導出が主であり、具体的な実験的検証は不明。凸 MDP としての定式化、MD アルゴリズムの導出、および RL との互換性の議論が有効性の主張である。

5. 議論はある?

議論として、EFE 最小化が標準 RL と異なる点 (非線形な認識論的価値) や、政策依存報酬がもたらす performative な性質が挙げられる。また、収束解析や原理的な政策改善保証への道筋が示唆されるが、実証的な検証やスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Active Inference の基礎理論、凸 MDP、Mirror Descent、actor-critic 法、performative reinforcement learning に関する論文が挙げられる。具体的には、AIF の原典 (Friston ら) や、凸 MDP の最適化理論、performative prediction の研究が次に読むべき候補である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikola Milosevic, Nicolás Hinrichs, Nico Scherf

分類: cs.LG, cs.AI, stat.ML

原文アブストラクト

Active Inference (AIF) frames adaptive behavior as the minimization of expected free energy (EFE), combining epistemic and pragmatic objectives within a single variational principle. We frame AIF as policy optimization and show that, for closed-loop control policies, EFE minimization can be formulated as a convex Markov decision process (MDP). In this formulation, the pragmatic terms are linear in the predictive state marginals and therefore equivalent to reward maximization in a latent MDP, while the epistemic value introduces a nonlinear component that distinguishes EFE minimization from standard reinforcement learning. This perspective further reveals the epistemic drive of active inference as a policy-dependent (performative) reward. We analyze finite-horizon, discounted, and average-reward formulations of EFE and derive a mirror descent (MD) algorithm that locally linearizes the objective around the current state marginals, yielding a policy-dependent reward that is compatible with actor-critic methods and dynamic programming. Finally, we argue that coupling world-model learning with policy optimization gives active inference the structure of performative reinforcement learning, providing a route toward grounding active inference within modern reinforcement learning and optimization theory, including convergence analysis and principled policy improvement guarantees.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI