日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2510.14338

リスク対応強化学習とバンディット適応による四足歩行

Risk-Aware Reinforcement Learning with Bandit-Based Adaptation for Quadrupedal Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

CVaR制約付き強化学習でリスク条件付き方策群を訓練し、マルチアームドバンディットで未知環境に適応的に最適方策を選択する四足歩行手法を提案。

詳しい要約

1. どんなもの?

- 四足歩行ロボットのための risk-aware 強化学習の研究 - CVaR 制約付き方策最適化で risk-conditioned な方策群を学習 - 展開時に multi-armed bandit で方策を適応選択 - 未知環境での性能確保を目的とする

2. 先行研究と比べてどこがすごい?

- 単一の方策ではなくリスク水準ごとの方策群を学習 - CVaR 制約により安定性と sample efficiency が向上 - bandit による選択は観測された episodic return のみを使用 - privileged environment information を必要としない点が特徴 - 既存ベースラインと比べ未知環境で平均・裾性能が約2倍(要旨記載)

3. 技術・手法の肝は?

- Conditional Value-at-Risk (CVaR) 制約付き policy optimization - 複数のロバスト性水準に対応する risk-conditioned 方策群を訓練 - 展開時は multi-armed bandit framework で方策をオンライン選択 - 入力は観測された episodic return のみ - 未知の条件変化にその場で適応

4. どうやって有効だと検証した?

- シミュレーションで8つの未見設定を評価 - 変更要素は dynamics, contacts, sensing noise, terrain - Unitree Go2 ロボットで未見地形を実機評価 - ベースライン比較で平均・裾性能が約2倍 - bandit 適応は未知地形で2分以内に最良方策を選択

5. 議論はある?

- 要旨からは不明 - 明示されているのは未知環境での性能と適応時間の結果のみ - 限界や失敗事例、計算コストの議論は要旨に記載なし

6. 次に読むべき論文は?

- Conditional Value-at-Risk (CVaR) constrained policy optimization の原論文 - multi-armed bandit による方策選択の関連研究 - quadrupedal locomotion の risk-aware RL 関連研究 - Unitree Go2 を用いた実機 locomotion 研究 - 要旨で具体的な参照論文名は挙げられていない

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuanhong Zeng, Anushri Dixit

分類: cs.RO

原文アブストラクト

In this work, we study risk-aware reinforcement learning for quadrupedal locomotion. Our approach trains a family of risk-conditioned policies using a Conditional Value-at-Risk (CVaR) constrained policy optimization technique that provides improved stability and sample efficiency. At deployment, we adaptively select the best performing policy from the family of policies using a multi-armed bandit framework that uses only observed episodic returns, without any privileged environment information, and adapts to unknown conditions on the fly. Hence, we train quadrupedal locomotion policies at various levels of robustness using CVaR and adaptively select the desired level of robustness online to ensure performance in unknown environments. We evaluate our method in simulation across eight unseen settings (by changing dynamics, contacts, sensing noise, and terrain) and on a Unitree Go2 robot in previously unseen terrains. Our risk-aware policy attains nearly twice the mean and tail performance in unseen environments compared to other baselines and our bandit-based adaptation selects the best-performing risk-aware policy in unknown terrain within two minutes of operation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI