日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/強化学習arXiv:2603.02613

ランジェバン誘導フローマッチングによる自動運転向けリアルタイム生成ポリシー

Real-Time Generative Policy via Langevin-Guided Flow Matching for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングをオンライン強化学習に導入し、ランジェバンダイナミクスで経験を動的に最適化することで、1回の推論で高品質な行動を生成する低遅延な自動運転ポリシーを実現した。

詳しい要約

1. どんなもの?

- 自動運転のためのリアルタイム生成ポリシー - 拡散モデルベースのRLの推論遅延を解決 - flow matchingをオンラインRLに導入 - 単一推論ステップで行動生成 - Langevin dynamicsとQ関数の勾配を利用 - 複雑なマルチレーン・交差点シミュレーションで検証

2. 先行研究と比べてどこがすごい?

- 先行研究のDACERやDSACと比較 - 推論遅延を大幅に削減 - 複雑な自動運転シミュレーションで性能向上 - DMCベンチマークでも高性能 - 人間型ロボットのstandタスクで775.8を達成

3. 技術・手法の肝は?

- flow matchingをオンラインRLに導入 - Langevin dynamicsとQ関数の勾配で行動を最適化 - 経験リプレイから動的に目標分布を生成 - 高Q値と探索性のバランスを取る - 単純な事前分布から目標分布へのマッピングを学習

4. どうやって有効だと検証した?

- 複雑なマルチレーンと交差点のシミュレーション - ベースラインのDACERとDSACと比較 - 超低推論遅延を維持 - 標準RLベンチマークDMCで評価 - humanoid-standタスクで775.8のスコア

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- DACER (diffusion actor-critic with entropy regulator) - DSAC (distributional soft actor-critic) - flow matching - Langevin dynamics - DeepMind Control Suite (DMC)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianze Zhu, Yinuo Wang, Wenjun Zou, Tianyi Zhang, Likun Wang, Letian Tao, Feihong Zhang, Yao Lyu, Shengbo Eben Li

分類: cs.LG, cs.RO

原文アブストラクト

Reinforcement learning (RL) is a fundamental methodology in autonomous driving systems, where generative policies exhibit considerable potential by leveraging their ability to model complex distributions to enhance exploration. However, their inherent high inference latency severely impedes their deployment in real-time decision-making and control. To address this issue, we propose diffusion actor-critic with entropy regulator via flow matching (DACER-F) by introducing flow matching into online RL, enabling the generation of competitive actions in a single inference step. By leveraging Langevin dynamics and gradients of the Q-function, DACER-F dynamically optimizes actions from experience replay toward a target distribution that balances high Q-value information with exploratory behavior. The flow policy is then trained to efficiently learn a mapping from a simple prior distribution to this dynamic target. In complex multi-lane and intersection simulations, DACER-F outperforms baselines diffusion actor-critic with entropy regulator (DACER) and distributional soft actor-critic (DSAC), while maintaining an ultra-low inference latency. DACER-F further demonstrates its scalability on standard RL benchmark DeepMind Control Suite (DMC), achieving a score of 775.8 in the humanoid-stand task and surpassing prior methods. Collectively, these results establish DACER-F as a high-performance and computationally efficient RL algorithm.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI