日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2510.10759

ゲイン調整は不要:制約付き歩行学習のための報酬ゲイン適応

Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

シェア:XThreadsFacebookLINEはてブBluesky

報酬の重みゲインをオンラインで適応させ、制約違反をほぼゼロに抑えつつ性能を向上させる手法ROGERを提案し、四足ロボットの実機学習を1時間で達成した。

詳しい要約

1. どんなもの?

- ロボット locomotion 学習における報酬重みゲインのオフライン調整と制約違反の2課題を扱う研究 - Reward-Oriented Gains via Embodied Regulation (ROGER) を提案 - 身体インタラクション中に得られる penalty に基づき報酬重みゲインをオンライン適応 - 制約閾値に近づくと正報酬(primary reward)と負報酬(penalty)のゲイン比を自動縮小、安全状態では比を拡大し性能優先 - 60-kg 四脚ロボットや MuJoCo 連続 locomotion ベンチマークで評価

2. 先行研究と比べてどこがすごい?

- 既存手法は適切な reward weighting gains のオフライン選択に強く依存し、学習中の constraint satisfaction を保証できない - ROGER はゲインをオンライン適応することでゲイン調整作業を簡素化 - 60-kg 四脚ロボットで複数学習試行を通じ near-zero constraint violation を達成 - 同等の state-of-the-art 手法より最大50%多い primary reward を達成 - MuJoCo ベンチマークで default reward function 学習と比べ同等以上、最大100%高い性能、最大60%少ない torque usage と orientation deviation

3. 技術・手法の肝は?

- 報酬重みゲインを embodied interaction 中に受け取る penalties に基づきオンライン適応する ROGER を提案 - primary reward(正報酬)と penalty(負報酬)のゲイン比を制御 - 学習が constraint thresholds に近づくとゲイン比を自動的に縮小し違反を回避 - 安全状態ではゲイン比を増やし性能を優先 - 具体的なアルゴリズム詳細やゲイン更新式は要旨からは不明

4. どうやって有効だと検証した?

- 60-kg quadruped robot を用い、複数の学習試行で near-zero constraint violation を確認 - 同等の state-of-the-art 手法と比較し最大50%多い primary reward を報告 - MuJoCo の連続 locomotion ベンチマーク(single-leg hopper を含む)で default reward function 学習と比較 - 性能が同等以上、最大100%高く、torque usage と orientation deviation が最大60%少ないと報告 - 実機 quadruped robot の実世界 locomotion 学習を1時間以内に転倒なしで from scratch 達成

5. 議論はある?

- 制約を満たす実世界連続ロボット locomotion 学習と reward weighting gain tuning の簡素化に寄与 - 物理ロボットや実世界で学習するロボットの開発促進の可能性 - 制約違反ゼロの保証範囲やゲイン適応の一般性、他タスクへの拡張性は要旨からは不明 - 比較対象の state-of-the-art 手法の具体名は要旨からは不明

6. 次に読むべき論文は?

- 要旨で明示的に参照・比較されている個別論文は不明 - 関連手法として reward weighting を用いる locomotion learning の state-of-the-art 手法 - constrained reinforcement learning における penalty ベース手法 - MuJoCo locomotion ベンチマーク(single-leg hopper 等)を用いる学習研究 - sim-to-real を含む quadruped robot locomotion 学習の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arthicha Srisuchinnawong, Poramate Manoonpong

分類: cs.RO

原文アブストラクト

Existing robot locomotion learning techniques rely heavily on the offline selection of proper reward weighting gains and cannot guarantee constraint satisfaction (i.e., constraint violation) during training. Thus, this work aims to address both issues by proposing Reward-Oriented Gains via Embodied Regulation (ROGER), which adapts reward-weighting gains online based on penalties received throughout the embodied interaction process. The ratio between the positive reward (primary reward) and negative reward (penalty) gains is automatically reduced as the learning approaches the constraint thresholds to avoid violation. Conversely, the ratio is increased when learning is in safe states to prioritize performance. With a 60-kg quadruped robot, ROGER achieved near-zero constraint violation throughout multiple learning trials. It also achieved up to 50% more primary reward than the equivalent state-of-the-art techniques. In MuJoCo continuous locomotion benchmarks, including a single-leg hopper, ROGER exhibited comparable or up to 100% higher performance and 60% less torque usage and orientation deviation compared to those trained with the default reward function. Finally, real-world locomotion learning of a physical quadruped robot was achieved from scratch within one hour without any falls. Therefore, this work contributes to constraint-satisfying real-world continual robot locomotion learning and simplifies reward weighting gain tuning, potentially facilitating the development of physical robots and those that learn in the real world.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI