日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/ロコモーションarXiv:2605.19503

ARC-RL: ARC Raidersに着想を得た強化学習プレイグラウンド

ARC-RL: A Reinforcement Learning Playground Inspired by ARC Raiders

シェア:XThreadsFacebookLINEはてブBluesky

ゲームNPC向けの多様なロボット形態(ヘキサポッドや四足など)を備えたMuJoCo連続制御環境スイートを構築し、統一報酬関数とCPGデモを提供して、オンラインおよびオフラインからオンラインへの強化学習アルゴリズムを比較評価した。

詳しい要約

1. どんなもの?

- ARC-RLは、ゲーム『ARC Raiders』のモンスターに着想を得た4種の脚式ロボット連続制御環境を提供する強化学習プレイグラウンド。 - 形態は18-DoFのQueen、12-DoFのBastion、18-DoFのTick、12-DoFのLeaper。 - 全ロボットで観測テンプレート、行動規約、シミュレーション周期、単一の閉形式多成分報酬関数を共有。 - 報酬は速度追従、生存ボーナス、位相固定歩容遵守、行動正則化、安全ペナルティ、姿勢アンカーを統合。 - 形態ごとのCPGデモンストレータも提供し、専門家参照や事前データ源として利用。

2. 先行研究と比べてどこがすごい?

- 従来の脚式移動強化学習は実商用ハードウェア由来の形態と物理エンジンベンチマークに偏っていた。 - ゲームNPCはsim-to-realロボティクスにない様式的制約を受け、実機対応のない生物形態をとる。 - ARC-RLはこうしたゲーム由来の形態的多様性とアニメーション様式制約を扱う点で先行研究と異なる。 - 単一の閉形式報酬関数を全形態で共有し、重みとパラメータのみを形態ごとに変える設計が特徴。 - モーションキャプチャデータを報酬に一切使わない点も従来と比べて独自。

3. 技術・手法の肝は?

- MuJoCo上の4種の連続制御環境を構築し、統一観測テンプレートと行動規約を採用。 - 報酬関数は速度追従テント、生存ボーナス、位相固定歩容遵守のボーナス/コスト対、行動正則化、3種の安全ペナルティ、姿勢アンカーを融合。 - 形態ごとの差は少数の重みとパラメータのみに限定。 - 各形態に手作りCPGデモンストレータを用意し、固定専門家参照とオフライン→オンライン訓練の事前データ源として利用。 - 標準オンラインアルゴリズムと事前データ拡張手法を比較する制御実験を実施。

4. どうやって有効だと検証した?

- 標準オンラインアルゴリズム(SAC、SPEQ、SOPE-EO)と事前データ拡張手法(SACfD、SPEQ-O2O、SOPE)を比較する制御経験研究を実施。 - 各パラダイムが形態的多様性とアニメーション様式制約にどう対処するかを特徴づけ。 - 具体的な性能指標や統計的検証の詳細は要旨からは不明。

5. 議論はある?

- 形態的多様性と様式的制約の下で各学習パラダイムがどう振る舞うかに焦点。 - 事前データ拡張が有効かどうか、オンライン手法との比較で議論。 - 限界や失敗事例、計算コスト、実機転移の可能性については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: SAC、SPEQ、SOPE-EO、SACfD、SPEQ-O2O、SOPE。 - 関連手法としてCentral Pattern Generator (CPG) ベースの歩容生成、MuJoCoベンチマーク、sim-to-real脚式移動強化学習。 - 具体的な論文タイトルは要旨に記載がないため、上記手法名や分野の定番を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Carlo Romeo, Andrew D. Bagdanov

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Reinforcement learning for legged locomotion has matured into a stack of multi-component reward functions and physics-engine benchmarks whose morphologies are uniformly derived from real commercial hardware. Game NPCs, however, are bound by stylistic constraints absent from sim-to-real robotics and routinely take the form of creatures with no real-robot counterpart. We introduce ARC-RL, a suite of four MuJoCo continuous-control environments featuring robotic morphologies inspired by the bestiary of ARC Raiders: the 18-DoF tall hexapod Queen, the 12-DoF armoured hexapod Bastion, the 18-DoF compact hexapod Tick, and the 12-DoF quadruped Leaper. All four robots share a unified observation template, action convention, simulation cadence, and a single closed-form multi-component reward function whose only per-morphology variation lives in a small set of weights and parameters. The reward fuses a velocity-tracking tent, a healthy survive bonus, a phase-locked gait-compliance bonus/cost pair, action regularisers, three safety penalties, and a posture anchor; no motion-capture data enters the reward at any point. We additionally provide hand-crafted Central Pattern Generator demonstrators per morphology, which serve both as fixed expert references and as sources of prior data for offline-to-online training. On this playground, we conduct a controlled empirical study comparing standard online algorithms (SAC, SPEQ, SOPE-EO) and methods augmented with prior data (SACfD, SPEQ-O2O, SOPE), and characterise how each paradigm copes with the playground's morphological diversity and animation-style stylistic constraints. Source code is available at https://github.com/CarloRomeo427/ARC_RL.git.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI