日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2610.10601

ロボット犬に新たな芸を教える:敵対的タスク選択を用いた強化学習と模倣学習の組み合わせによる多様な四足歩行スキル

Teaching a Robot Dog New Tricks: Diverse Quadruped Skills via Combined Reinforcement and Imitation Learning with Adversarial Task Selection

シェア:XThreadsFacebookLINEはてブBluesky

強化学習と模倣学習を組み合わせ、敵対的タスク選択で複数の教師方策から生徒方策を訓練し、四足ロボットに歩行・掘削・跳躍など22の多様なスキルを習得させる手法を提案した。

詳しい要約

1. どんなもの?

- 四足歩行ロボットに多様なスキルを獲得させるための3段階の学習手法を提案。 - 第1段階で狭いタスクごとにRLで複数のteacher policyを訓練。 - 第2段階と第3段階で、マルチteacher distillationとRL+ILの複合目的関数、adversarial task selectionを用いてstudent policyを訓練。 - 8つのteacherから22タスクを実行する単一のstudent policyを学習。 - 歩行、掘削、ホッピングなどのタスクを組み合わせ、クロールなどの新規行動を生成。 - Unitree B1四足ロボットに実装し、実世界での頑健性を実証。

2. 先行研究と比べてどこがすごい?

- 従来のRLは単一タスク設定が主流で、多様なスキルを要する応用には不十分。 - マルチタスク学習の課題(サンプル非効率性、タスク間の勾配衝突)を克服。 - PPOやdistill-then-finetuneベースラインと比較して、動作品質を維持し、コマンド追従精度が向上。 - 明示的な訓練なしに新しいタスクへ一般化する場合がある。 - 単一ポリシーで22タスクを実行できる点が先行研究と比べて優れている。

3. 技術・手法の肝は?

- 3段階の学習プロセス: - 第1段階:狭いタスクごとにRLで複数のteacher policyを訓練。 - 第2段階:マルチteacher distillationを実施。 - 第3段階:RLとILの複合目的関数を用い、adversarial task selectionで最も性能の低いタスクに訓練を集中。 - 8つのteacherから22タスクを実行するstudent policyを訓練。 - タスクの組み合わせにより新規行動を生成。

4. どうやって有効だと検証した?

- 評価により、提案手法がPPOおよびdistill-then-finetuneベースラインよりも動作品質を維持し、コマンド追従精度が高いことを確認。 - 一部のケースで明示的な訓練なしに新しいタスクへ一般化することを示した。 - Unitree B1四足ロボットに実装し、実世界での頑健性を実証。 - ビデオ:https://youtu.be/V9yX04EBcFA

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- PPO (Proximal Policy Optimization) - distill-then-finetuneベースライン - マルチタスク強化学習 - 模倣学習 (Imitation Learning) - マルチteacher distillation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lemon Foxmere, Anthony Furman, Yizheng Du, Oliver Chang, Leilani Gilpin, Steve McGuire

分類: cs.RO

原文アブストラクト

Reinforcement Learning (RL) has enabled legged robots to perform a range of skills in single-task settings. However, applications such as farm robotics or space exploration require diverse skills such as locomotion, digging, or close-range surveying. Training an end-to-end policy to address this problem remains difficult due to challenges such as sample inefficiency and gradient conflict between tasks in multi-task learning. We propose a three-stage method that trains a single policy to perform distinct tasks such as walking, digging, and hopping, and compose them into novel behaviors such as crawling. First, multiple teacher policies are trained using RL on narrowly defined tasks. Then, two additional stages train a student policy with a multi-teacher distillation setup that uses a combined RL and Imitation Learning (IL) objective under an adversarial task selection process that focuses training on the worst-performing task. With this method, we train a student policy that performs 22 tasks using 8 teachers. Evaluations show our method preserves motion quality and tracks commands more accurately than PPO and distill-then-finetune baselines, and in some cases generalizes to new tasks without explicit training. Finally, we demonstrate real-world robustness by deploying the resulting policy on a Unitree B1 quadruped. Video: https://youtu.be/V9yX04EBcFA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI