日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2507.05674

拡散モデルとオンライン強化学習を統合した四足ロボットのロバスト制御

Integrating Diffusion-based Multi-task Learning with Online Reinforcement Learning for Robust Quadruped Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルによる多タスク事前学習とオンラインPPO微調整を組み合わせ、言語指示に従って四足ロボットを制御するフレームワークDMLocoを提案。

詳しい要約

1. どんなもの?

- 四足歩行ロボット向けの diffusion-based framework「DMLoco」を提案する研究。 - 多タスクの pretraining と online PPO finetuning を統合する。 - 言語条件付き制御と言語指示間の安定した task transition を可能にする。 - DDIM による効率的サンプリングと TensorRT による最適化で、onboard 50Hz 動作を実現する。

2. 先行研究と比べてどこがすごい?

- 先行の imitation learning は主に manipulation で成功し、legged locomotion では未開拓だった。 - 従来の legged locomotion における diffusion 適用は、compounding errors による安定性低下と、限られたデータ下での task transition の困難さが課題だった。 - 本研究は online RL(PPO)の知見を統合し、これらの課題に対処する点が新しい。 - 言語条件付き四足制御と実機展開を見据えた点が先行研究と異なる。

3. 技術・手法の肝は?

- 多様な multi-task dataset で diffusion model を用いて policy を pretraining し、言語誘導による複数 skill の実行を可能にする。 - その後 simulation 上で policy を finetuning し、実世界展開時の robustness と安定した task transition を確保する。 - サンプリングには DDIM を用いて効率化する。 - 展開最適化に TensorRT を用い、onboard 50Hz での推論を実現する。

4. どうやって有効だと検証した?

- 要旨からは不明。 - simulation での finetuning と実世界展開への言及はあるが、具体的な評価指標・実験設定・比較結果は要旨に記載がない。

5. 議論はある?

- 要旨からは不明。 - legged locomotion における diffusion 適用の compounding errors と限られたデータ下の task transition が動機として述べられている。 - 実機の resource-constrained platform 上での 50Hz 動作とスケーラビリティに言及している。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として diffusion models、Denoising Diffusion Implicit Models (DDIM)、online reinforcement learning(PPO)、imitation learning が挙げられる。 - 同分野の定番として legged locomotion 向け RL(例: PPO ベースの歩行制御)や diffusion policy の文献を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyao Qin, Xiaoteng Ma, Yang Qi, Qihan Liu, Chuanyi Xue, Ning Gui, Qinyu Dong, Jun Yang, Bin Liang

分類: cs.RO

原文アブストラクト

Recent research has highlighted the powerful capabilities of imitation learning in robotics. Leveraging generative models, particularly diffusion models, these approaches offer notable advantages such as strong multi-task generalization, effective language conditioning, and high sample efficiency. While their application has been successful in manipulation tasks, their use in legged locomotion remains relatively underexplored, mainly due to compounding errors that affect stability and difficulties in task transition under limited data. Online reinforcement learning (RL) has demonstrated promising results in legged robot control in the past years, providing valuable insights to address these challenges. In this work, we propose DMLoco, a diffusion-based framework for quadruped robots that integrates multi-task pretraining with online PPO finetuning to enable language-conditioned control and robust task transitions. Our approach first pretrains the policy on a diverse multi-task dataset using diffusion models, enabling language-guided execution of various skills. Then, it finetunes the policy in simulation to ensure robustness and stable task transition during real-world deployment. By utilizing Denoising Diffusion Implicit Models (DDIM) for efficient sampling and TensorRT for optimized deployment, our policy runs onboard at 50Hz, offering a scalable and efficient solution for adaptive, language-guided locomotion on resource-constrained robotic platforms.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI