日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

最適制御arXiv:2604.21456

微分可能ダイナミクスを用いた軌道・方策最適化のための焼きなまし逐次モンテカルロ法

Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics

シェア:XThreadsFacebookLINEはてブBluesky

制御器設計を推論問題として捉え、KL正則化付き期待軌道コストを最小化する分布から効率的にサンプリングするため、焼きなまし逐次モンテカルロ法(TSMC)を提案した。

詳しい要約

1. どんなもの?

- 有限ホライズンのtrajectoryとpolicy最適化のためのサンプリングベースのフレームワークを提案。 - controller designを推論問題として捉え、KL正則化された期待trajectoryコストを最小化。 - 温度が下がるにつれて低コスト解に集中するBoltzmann-tilted分布を最適解として得る。 - この分布から効率的にサンプリングするためにtempered sequential Monte Carlo (TSMC)を導入。 - TSMCはpriorからtargetへのtempering pathに沿って粒子を適応的に再重み付け・リサンプリングし、Hamiltonian Monte Carlo rejuvenationで多様性を維持。 - differentiable dynamicsを通じてtrajectory rolloutsを微分して正確な勾配を利用。 - policy最適化へ拡張するため、初期状態分布の決定論的経験近似と、rolloutのランダム性を補助変数として扱う拡張空間構成を導入。

2. 先行研究と比べてどこがすごい?

- 従来のtrajectory/policy最適化手法と比較して、推論ベースの枠組みでKL正則化とtemperingを組み合わせている点が新しい。 - 特に、Boltzmann-tilted分布からのサンプリングにTSMCを適用し、多峰性や鋭い分布に対処。 - Hamiltonian Monte Carlo rejuvenationと微分可能ダイナミクスによる正確な勾配を活用することで、効率的なサンプリングを実現。 - 実験ではstate-of-the-artベースラインと比較して遜色ない、または優れた性能を示す。

3. 技術・手法の肝は?

- 制御設計を推論問題として定式化し、KL正則化期待コストを最小化。 - 最適なBoltzmann-tilted分布をターゲットとし、温度パラメータで鋭さを制御。 - TSMC: アニーリングスキームで、priorからtargetへのtempering pathに沿って粒子を適応的に再重み付け・リサンプリング。 - Hamiltonian Monte Carlo rejuvenationを用いて粒子の多様性を維持し、微分可能ダイナミクスから得られる正確な勾配を利用。 - policy最適化への拡張: (i) 初期状態分布の決定論的経験近似、(ii) rolloutのランダム性を補助変数とする拡張空間構成。

4. どうやって有効だと検証した?

- trajectory最適化とpolicy最適化のベンチマーク実験を実施。 - TSMCが広く適用可能であり、state-of-the-artベースラインと比較して良好な性能を示すことを確認。 - 具体的なベンチマーク名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明記されていない。 - 同分野の定番として、Model Predictive Control (MPC)、Path Integral Control、Cross-Entropy Method (CEM)、Relative Entropy Policy Search (REPS) などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Heng Yang

分類: cs.LG, cs.RO

原文アブストラクト

We propose a sampling-based framework for finite-horizon trajectory and policy optimization under differentiable dynamics by casting controller design as inference. Specifically, we minimize a KL-regularized expected trajectory cost, which yields an optimal "Boltzmann-tilted" distribution over controller parameters that concentrates on low-cost solutions as temperature decreases. To sample efficiently from this sharp, potentially multimodal target, we introduce tempered sequential Monte Carlo (TSMC): an annealing scheme that adaptively reweights and resamples particles along a tempering path from a prior to the target distribution, while using Hamiltonian Monte Carlo rejuvenation to maintain diversity and exploit exact gradients obtained by differentiating through trajectory rollouts. For policy optimization, we extend TSMC via (i) a deterministic empirical approximation of the initial-state distribution and (ii) an extended-space construction that treats rollout randomness as auxiliary variables. Experiments across trajectory- and policy-optimization benchmarks show that TSMC is broadly applicable and compares favorably to state-of-the-art baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI