日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2601.21363

ヒューマノイド制御における大規模事前学習と効率的ファインチューニングの橋渡し

Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control

シェア:XThreadsFacebookLINEはてブBluesky

オフポリシーSACによる大規模事前学習でヒューマノイド歩行を実機ゼロショット展開し、モデルベース手法で新環境に安全にファインチューニングする枠組みを提案。

詳しい要約

1. どんなもの?

- 本論文は、humanoid controlにおける大規模pretrainingと効率的finetuningのギャップを埋める手法を提案する。 - 具体的には、off-policyのSoft Actor-Critic (SAC) を大バッチ更新と高いUpdate-To-Data (UTD) 比で用いて、humanoid locomotion policiesの大規模pretrainingを安定的に行い、実機へのzero-shot deploymentを実現する。 - さらに、pretraining済みのSACポリシーを、model-based手法により新しい環境やout-of-distributionタスクへfinetuningする。 - データ収集は決定論的ポリシーで行い、確率的探索はphysics-informed world model内に限定する。 - これにより、適応中のランダム探索のリスクを軽減しつつ、改善のための探索的カバレッジを維持する。 - 全体として、pretraining時の大規模シミュレーションのwall-clock効率と、finetuning時のmodel-…

2. 先行研究と比べてどこがすごい?

- 従来、humanoid controlではPPOなどのon-policy RLが大規模並列シミュレーションでrobust trainingを可能にし、zero-shot deploymentも達成していたが、sample efficiencyが低く、新しい環境への安全な適応が制限されていた。 - off-policy RLやmodel-based RLはsample efficiencyを改善したが、humanoidにおける大規模pretrainingと効率的finetuningのギャップは依然として存在した。 - 本論文は、off-policy SACを大バッチ更新と高いUTD比で用いることで、大規模pretrainingを安定的にサポートし、zero-shot deploymentを実現する点が新しい。 - また、finetuningにおいて決定論的ポリシーでデータ収集し、確率的探索をworld model内に限定する分離アプローチを提案し、適応時のリスクを軽減しつつ探索を維持する点が先行研究と異なる。

3. 技術・手法の肝は?

- 大規模pretrainingにはoff-policy Soft Actor-Critic (SAC) を採用し、大バッチ更新と高いUpdate-To-Data (UTD) 比を組み合わせる。 - これにより、humanoid locomotion policiesの大規模pretrainingを安定的に行い、実機へのzero-shot deploymentを可能にする。 - finetuningでは、model-based手法を用いて新しい環境やout-of-distributionタスクに適応する。 - データ収集は決定論的ポリシーで実行し、確率的探索はphysics-informed world model内に限定する。 - この分離により、適応中のランダム探索のリスクを軽減しつつ、改善のための探索的カバレッジを維持する。 - 全体として、pretrainingのwall-clock効率とfinetuningのsample効率を結合する。

4. どうやって有効だと検証した?

- 大規模pretrainingにより、humanoid locomotion policiesが実機へのzero-shot deploymentを達成することを示した。 - また、SAC-pretrained policiesが新しい環境やout-of-distributionタスクにおいて、model-based手法でfinetuning可能であることを実証した。 - 具体的な実験設定や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 本論文は、off-policy SACと大バッチ更新・高いUTD比が大規模pretrainingを安定的にサポートすることを見出した。 - finetuningにおいて、決定論的ポリシーによるデータ収集とworld model内での確率的探索の分離が、ランダム探索のリスクを軽減しつつ探索的カバレッジを維持することを示唆する。 - しかし、手法の限界や適用範囲、他のhumanoidタスクへの一般化可能性については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Proximal Policy Optimization (PPO)、off-policy RL、model-based RL、Soft Actor-Critic (SAC)。 - 関連手法として、on-policy RL、off-policy RL、model-based RLのhumanoid controlへの応用が挙げられる。 - 具体的な論文名は要旨に記載されていないため、同分野の定番としてPPOやSACの原論文、model-based RLのhumanoid応用論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weidong Huang, Zhehan Li, Hangxin Liu, Biao Hou, Yao Su, Jingwen Zhang

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) is widely used for humanoid control, with on-policy methods such as Proximal Policy Optimization (PPO) enabling robust training via large-scale parallel simulation and, in some cases, zero-shot deployment to real robots. However, the low sample efficiency of on-policy algorithms limits safe adaptation to new environments. Although off-policy RL and model-based RL have shown improved sample efficiency, the gap between large-scale pretraining and efficient finetuning on humanoids still exists. In this paper, we find that off-policy Soft Actor-Critic (SAC), with large-batch update and a high Update-To-Data (UTD) ratio, reliably supports large-scale pretraining of humanoid locomotion policies, achieving zero-shot deployment on real robots. For adaptation, we demonstrate that these SAC-pretrained policies can be finetuned in new environments and out-of-distribution tasks using model-based methods. Data collection in the new environment executes a deterministic policy while stochastic exploration is instead confined to a physics-informed world model. This separation mitigates the risks of random exploration during adaptation while preserving exploratory coverage for improvement. Overall, the approach couples the wall-clock efficiency of large-scale simulation during pretraining with the sample efficiency of model-based learning during fine-tuning. For code and videos, see https://lift-humanoid.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI