日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2507.04140

重心角運動量正則化マルチエージェント強化学習によるヒューマノイド腕動作の学習

Learning Humanoid Arm Motion via Centroidal Momentum Regularized Multi-Agent Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

腕と脚に別々のエージェントを置くマルチエージェント強化学習で、重心角運動量を追従・減衰させる報酬により、ヒューマノイドが歩行時に自然な腕振りを獲得しバランスを改善する手法を提案。

詳しい要約

1. どんなもの?

- ヒトの歩行時の腕振りに着想を得た、ヒューマノイドロボットの全身制御フレームワーク - 腕と脚を別々の agent として扱う limb-level multi-agent reinforcement learning (RL) - 腕の動きを明示的に設計せず、学習を通じて創発させる点が特徴 - 平地歩行、rough terrain traversal、stair climbing などの locomotion タスクを対象

2. 先行研究と比べてどこがすごい?

- 従来の単一 agent による全身制御ではなく、腕・脚を分離した multi-agent RL を採用 - 腕の動きを直接設計せず、centroidal angular momentum (CAM) の tracking/damping 報酬により創発させる - single-agent および他の multi-agent baseline との比較で有効性を検証 - 腕振りによる角運動量低減・鉛直 ground reaction moment 低減という物理的効果を狙う点が新しい

3. 技術・手法の肝は?

- 腕と脚に別々の actor-critic 構造を用意 - centralized critics と decentralized actors を組み合わせ、共有する観測は base states と centroidal angular momentum (CAM) のみ - modular reward design により各 agent がタスク関連行動に特化 - 腕 agent には CAM tracking と damping の報酬を与え、角運動量と鉛直 ground reaction moment を減らす腕運動を促す

4. どうやって有効だと検証した?

- single-agent および代替 multi-agent baseline との比較研究を実施 - 学習方針を実際の humanoid platform に deploy - flat-ground walking、rough terrain traversal、stair climbing を含む多様な locomotion タスクで robust な性能を確認 - 外部 perturbation 下での balance 改善にも寄与すると報告

5. 議論はある?

- 腕運動が balance 改善や角運動量低減に寄与することを比較・実機で示す - 一方、報酬設計や CAM 観測への依存度、他タスクへの汎化性についての詳細は要旨からは不明 - 実機展開時の安全性や sim-to-real の課題については要旨からは不明

6. 次に読むべき論文は?

- single-agent RL による humanoid locomotion の代表的研究 - multi-agent reinforcement learning を用いたロボット制御の関連研究 - centroidal angular momentum (CAM) に基づく balance control の研究 - humanoid の arm motion と locomotion の関係を扱う研究 - rough terrain traversal や stair climbing を対象とした humanoid RL 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ho Jae Lee, Se Hwan Jeon, Sangbae Kim

分類: cs.RO, cs.SY, eess.SY

原文アブストラクト

Humans naturally swing their arms during locomotion to regulate whole-body dynamics, reduce angular momentum, and help maintain balance. Inspired by this principle, we present a limb-level multi-agent reinforcement learning (RL) framework that enables coordinated whole-body control of humanoid robots through emergent arm motion. Our approach employs separate actor-critic structures for the arms and legs, trained with centralized critics but decentralized actors that share only base states and centroidal angular momentum (CAM) observations, allowing each agent to specialize in task-relevant behaviors through modular reward design. The arm agent guided by CAM tracking and damping rewards promotes arm motions that reduce overall angular momentum and vertical ground reaction moments, contributing to improved balance during locomotion or under external perturbations. Comparative studies with single-agent and alternative multi-agent baselines further validate the effectiveness of our approach. Finally, we deploy the learned policy on a humanoid platform, achieving robust performance across diverse locomotion tasks, including flat-ground walking, rough terrain traversal, and stair climbing.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI