日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2507.18883

部分観測下でのヒューマノイド強化学習の成功

Success in Humanoid Reinforcement Learning under Partial Observation

シェア:XThreadsFacebookLINEはてブBluesky

過去観測を並列処理する履歴エンコーダを提案し、Gymnasium Humanoid-v4で初めて部分観測下でも全状態と同等の歩行制御を実現した。

詳しい要約

1. どんなもの?

- 本研究は、部分観測下での humanoid locomotion の強化学習に関するもの。 - ベンチマーク環境は Gymnasium Humanoid-v4。 - 目的は転倒せずできるだけ速く前進すること。 - 報酬は直立維持と前進、罰則は過剰な action と外部接触力。 - 完全な状態情報なしで humanoid policy を安定学習させることに成功した初の事例と主張。 - 元の状態の 1/3〜2/3 のみを使用しながら、full state access の SOTA に匹敵する性能を達成。 - 体部位の質量変化など robot properties への適応性も示す。

2. 先行研究と比べてどこがすごい?

- 先行研究では、Gymnasium Humanoid-v4 において不完全な状態情報での humanoid policy の安定学習は未達成。 - 本研究は部分観測下で初めて成功した事例であると主張。 - 完全観測の SOTA と同等性能を、状態の 1/3〜2/3 のみで実現。 - 単なる性能比較だけでなく、body part masses の変動への適応性も示す点が特徴。

3. 技術・手法の肝は?

- 鍵は novel history encoder。 - 固定長の過去 observation 系列を並列処理する。 - この encoder を標準的な model-free algorithm に統合。 - これにより fully observed baseline と同等の性能を実現。 - 仮説として、直近の observation から意思決定に必要な contextual information を再構成していると考察。

4. どうやって有効だと検証した?

- ベンチマークは Gymnasium Humanoid-v4。 - 部分観測設定で学習した policy の性能を、full state access の SOTA 結果と比較。 - 使用状態数が元の 1/3〜2/3 でも同等性能であることを示す。 - body part masses の変動に対する適応性を評価。 - 詳細な実験設定・試行回数・統計手法は要旨からは不明。

5. 議論はある?

- なぜ成功するかについて、history encoder が直近 observation から essential contextual information を再構成するという仮説を提示。 - 仮説の検証方法や限界、失敗事例については要旨からは不明。 - 部分観測下での安定学習を可能にした要因の一般性や他タスクへの拡張性は要旨からは不明。 - 実ロボットへの適用可能性や sim-to-real の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別論文は明示されていない。 - 関連手法として、model-free reinforcement learning、history encoder を用いた部分観測強化学習、Gymnasium Humanoid-v4 の fully observed SOTA 研究を挙げる。 - 同分野の定番として POMDP における recurrent policy(LSTM/GRU など)や frame stacking を用いた研究を参照するとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wuhao Wang, Zhiyong Chen

分類: cs.AI, cs.RO

原文アブストラクト

Reinforcement learning has been widely applied to robotic control, but effective policy learning under partial observability remains a major challenge, especially in high-dimensional tasks like humanoid locomotion. To date, no prior work has demonstrated stable training of humanoid policies with incomplete state information in the benchmark Gymnasium Humanoid-v4 environment. The objective in this environment is to walk forward as fast as possible without falling, with rewards provided for staying upright and moving forward, and penalties incurred for excessive actions and external contact forces. This research presents the first successful instance of learning under partial observability in this environment. The learned policy achieves performance comparable to state-of-the-art results with full state access, despite using only one-third to two-thirds of the original states. Moreover, the policy exhibits adaptability to robot properties, such as variations in body part masses. The key to this success is a novel history encoder that processes a fixed-length sequence of past observations in parallel. Integrated into a standard model-free algorithm, the encoder enables performance on par with fully observed baselines. We hypothesize that it reconstructs essential contextual information from recent observations, thereby enabling robust decision-making.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI