日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

最適制御arXiv:2512.06109

最適制御におけるエントロピー正則化の統一:反復ソフト方策と経路積分解を介した古典的目的関数との往復

Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

シェア:XThreadsFacebookLINEはてブBluesky

方策と遷移に別々のKL正則化重みを導入した統一的な最適制御問題を提案し、古典的SOC/RSOCやソフト方策版を包含しつつ、反復解法で元の目的関数を回復できることを示した。

詳しい要約

1. どんなもの?

- 本論文は、複数の optimal control 定式化を Kullback-Leibler (KL) regularization の観点から統一的に扱う研究である。 - policy と transition への KL penalty を独立な重みで分離した中心問題を提案し、trajectory-level の KL-regularization を一般化する。 - この umbrella formulation が Stochastic Optimal Control (SOC)、Risk-Sensitive Stochastic Optimal Control (RSOC)、および soft-policy SOC / soft-policy RSOC を包含することを示す。 - soft-policy 版は単なる正則化変種ではなく、元の SOC/RSOC を majorize する代理問題として位置づけられる。

2. 先行研究と比べてどこがすごい?

- 従来の probabilistic optimal control では trajectory-level の KL-regularization が標準的だったが、本論文は policy と transition の KL penalty を独立重みで分離することで一般化する。 - その結果、SOC・RSOC・soft-policy SOC・soft-policy RSOC を同一の枠組みで回収できることを示す点が新しい。 - soft-policy 定式化が元の SOC/RSOC を majorize し、その解の反復で元の目的関数に戻れる点を明らかにする。 - synchronized case では linear Bellman operator・path-integral solution・compositionality といった計算上都合の良い性質が広いクラスに拡張される。

3. 技術・手法の肝は?

- KL regularization を用い、policy と transition に対する KL penalty を独立な重みで分離した中心問題を定式化する。 - この定式化から SOC、RSOC、soft-policy SOC、soft-policy RSOC を導出する。 - soft-policy 版を元問題の majorizer として構成し、その解を反復することで元の SOC/RSOC の目的関数を回復する手続きを示す。 - soft-policy RSOC の synchronized case(policy と transition の KL 重みが一致)を特定し、linear Bellman operator、path-integral solution、compositionality を導く。

4. どうやって有効だと検証した?

- 要旨からは不明(理論的な導出と性質の提示が中心で、実験的検証の記述は要旨にない)。

5. 議論はある?

- 要旨からは不明(限界や議論の詳細は要旨に明記されていない)。 - ただし、soft-policy 定式化が元問題を majorize し反復で元目的に戻る点、synchronized case で計算上都合の良い性質が得られる点が理論的議論の中心と読める。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明記されていない。 - 関連手法として、Stochastic Optimal Control (SOC)、Risk-Sensitive Stochastic Optimal Control (RSOC)、KL-regularized / soft-policy 系の probabilistic optimal control、path-integral control、linear Bellman operator に関する文献が次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ajinkya Bhole, Mohammad Mahmoudi Filabadi, Guillaume Crevecoeur, Tom Lefebvre

分類: math.OC, cs.LG, cs.RO, cs.SY, eess.SY

原文アブストラクト

This paper develops a unified perspective on several optimal control formulations through the lens of Kullback-Leibler (KL) regularization. We propose a central problem that separates the KL penalties on policies and transitions with independent weights, thus generalizing the standard trajectory-level KL-regularization used in probabilistic optimal control. This umbrella formulation recovers various control problems: the classical Stochastic Optimal Control (SOC), Risk-Sensitive Stochastic Optimal Control (RSOC), and their policy-based KL-regularized counterparts, termed soft-policy SOC and RSOC, which yield tractable surrogates. Beyond being regularized variants, these soft-policy formulations majorize the original SOC and RSOC, thus, iterating their solutions recovers the original objectives. We further identify a synchronized case of soft-policy RSOC where the policy and transition KL weights coincide, yielding a linear Bellman operator, path-integral solution, and compositionality -- extending these computationally favourable properties to a broad class of control problems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI