日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

進化ロボティクス/強化学習arXiv:2604.20381

ターゲットネットワーク不要の分布価値推定によるロバストな品質多様性最適化

Distributional Value Estimation Without Target Networks for Robust Quality-Diversity

シェア:XThreadsFacebookLINEはてブBluesky

品質多様性(QD)アルゴリズムのサンプル効率を改善するため、ターゲットネットワークを使わない分布価値推定を導入した新しいQD-RLアルゴリズムQDHUACを提案し、高次元環境で少ないサンプル数で同等以上の性能を達成した。

詳しい要約

1. どんなもの?

- Quality-Diversity (QD) アルゴリズムのサンプル効率を改善する手法。 - QDHUAC を提案。target-free で distributional な QD-RL アルゴリズム。 - 高 UTD 比での安定学習を可能にし、Dominated Novelty Search を高 UTD で訓練。 - 高次元 Brax 環境で、ベースラインより一桁少ない環境ステップで競争力のある coverage と fitness を達成。

2. 先行研究と比べてどこがすごい?

- 従来の QD アルゴリズムはサンプル効率が悪く、複雑な locomotion タスクで数千万ステップ必要。 - 高 UTD の Actor-Critic は target network が必須で計算ボトルネック。 - 提案手法は target network 不要で、高 UTD 訓練を QD タスクに適用可能に。 - 一桁少ない環境ステップで同等以上の性能を実現。

3. 技術・手法の肝は?

- target-free な distributional critic を採用。 - 高 UTD 訓練を可能にする dense で低分散な勾配信号を提供。 - Dominated Novelty Search と組み合わせ、QD の進化的選択を効率化。 - これにより target network の計算負荷を排除しつつ安定性を確保。

4. どうやって有効だと検証した?

- 高次元 Brax 環境で評価。 - 高 UTD 比での安定訓練を実証。 - ベースラインと比較して一桁少ないサンプルで競争力のある coverage と fitness を達成。 - 具体的なベースライン名は要旨からは不明。

5. 議論はある?

- target-free distributional critic と dominance-based selection の組み合わせが、次世代のサンプル効率の良い進化的 RL アルゴリズムの鍵となる可能性を示唆。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Quality-Diversity (QD) アルゴリズム、Dominated Novelty Search、高 UTD の Actor-Critic 学習、Brax 環境。 - 関連手法: 標準的な QD アルゴリズム (例: MAP-Elites, Novelty Search)、target network を用いる高 UTD 手法 (例: REDQ, DroQ)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Behrad Koohy, Jamie Bayne

分類: cs.LG, cs.NE, cs.RO

原文アブストラクト

Quality-Diversity (QD) algorithms excel at discovering diverse repertoires of skills, but are hindered by poor sample efficiency and often require tens of millions of environment steps to solve complex locomotion tasks. Recent advances in Reinforcement Learning (RL) have shown that high Update-to-Data (UTD) ratios accelerate Actor-Critic learning. While effective, standard high-UTD algorithms typically utilise target networks to stabilise training. This requirement introduces a significant computational bottleneck, rendering them impractical for resource-intensive Quality-Diversity (QD) tasks where sample efficiency and rapid population adaptation are critical. In this paper, we introduce QDHUAC, a sample-efficient, target-free and distributional QD-RL algorithm that provides dense and low-variance gradient signals, which enables high-UTD training for Dominated Novelty Search whilst requiring an order of magnitude fewer environment steps. We demonstrate that our method enables stable training at high UTD ratios, achieving competitive coverage and fitness on high-dimensional Brax environments with an order of magnitude fewer samples than baselines. Our results suggest that combining target-free distributional critics with dominance-based selection is a key enabler for the next generation of sample-efficient evolutionary RL algorithms.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI