日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

連続制御/強化学習arXiv:2510.18828

構造的最大化可能なQ関数によるアクターフリー連続制御

Actor-Free Continuous Control via Structurally Maximizable Q-Functions

シェア:XThreadsFacebookLINEはてブBluesky

連続行動空間での制御において、アクターを別途学習せずにQ関数の構造的最大化を利用する純粋な価値ベース強化学習フレームワークを提案し、標準的なシミュレーションタスクで従来手法と同等以上の性能とサンプル効率を達成した。

詳しい要約

1. どんなもの?

- 連続行動空間のための純粋に value-based な off-policy 強化学習フレームワーク - actor を学習せず、Q-function の structural maximization によって行動を決定 - アーキテクチャとアルゴリズムの工夫を組み合わせ、効率的で安定な学習を狙う - 標準的な simulation タスクで評価され、コードも公開されている (https://github.com/USC-Lira/Q3C)

2. 先行研究と比べてどこがすごい?

- 従来の value-based 手法は離散行動空間に限定されがちで、連続空間では Q-value の全行動評価が計算困難 - 一般的な actor-critic は critic と actor の二段階学習で不安定になりやすい - 提案法は actor を別途学習するコストなしに、SOTA ベースラインと同等の性能・sample efficiency を示す - 特に行動空間に制約がある環境では value function が非平滑になりやすく、勾配ベース最大化の actor-critic を上回る

3. 技術・手法の肝は?

- Q-function の structural maximization を再訪し、連続制御に適用 - 効率的で安定な学習を可能にする一連のアーキテクチャ・アルゴリズム上の設計選択を導入 - actor を必要としない actor-free Q-learning として構成 - 詳細な数式やネットワーク構造は要旨からは不明

4. どうやって有効だと検証した?

- 複数の標準的な simulation タスクで評価 - SOTA ベースラインと比較し、性能と sample efficiency が同等であることを示す - 行動空間に制約がある環境で、勾配ベース最大化の actor-critic 手法を上回ることを報告 - 具体的なタスク名・指標・実験設定は要旨からは不明

5. 議論はある?

- actor を学習しない利点として計算コスト削減と安定性を主張 - 制約付き行動空間での非平滑な value function に対する structural maximization の優位性を議論 - 限界や失敗ケース、理論的保証、スケーラビリティについては要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照されている個別論文は不明 - 関連手法として actor-critic 法、off-policy value-based 法、Q-function の structural maximization を用いる研究を挙げる - 公開コード Q3C (https://github.com/USC-Lira/Q3C) とその実装が次の参照先候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yigit Korkmaz, Urvi Bhuwania, Ayush Jain, Erdem Bıyık

分類: cs.LG, cs.AI, cs.RO, stat.ML

原文アブストラクト

Value-based algorithms are a cornerstone of off-policy reinforcement learning due to their simplicity and training stability. However, their use has traditionally been restricted to discrete action spaces, as they rely on estimating Q-values for individual state-action pairs. In continuous action spaces, evaluating the Q-value over the entire action space becomes computationally infeasible. To address this, actor-critic methods are typically employed, where a critic is trained on off-policy data to estimate Q-values, and an actor is trained to maximize the critic's output. Despite their popularity, these methods often suffer from instability during training. In this work, we propose a purely value-based framework for continuous control that revisits structural maximization of Q-functions, introducing a set of key architectural and algorithmic choices to enable efficient and stable learning. We evaluate the proposed actor-free Q-learning approach on a range of standard simulation tasks, demonstrating performance and sample efficiency on par with state-of-the-art baselines, without the cost of learning a separate actor. Particularly, in environments with constrained action spaces, where the value functions are typically non-smooth, our method with structural maximization outperforms traditional actor-critic methods with gradient-based maximization. We have released our code at https://github.com/USC-Lira/Q3C.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI