日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2608.02069

Open-DiffLoco: 展開可能なブラインド四足歩行のためのオープンソース微分可能学習

Open-DiffLoco: Open-Source Differentiable Learning for Deployable Blind Quadruped Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

微分可能シミュレーションを用いて、複雑な報酬設計なしで実機展開可能な四足歩行ポリシーを訓練するオープンソースフレームワークを提案し、Unitree Go2で実証した。

詳しい要約

1. どんなもの?

Open-DiffLocoは、differentiable simulationを用いて実機展開可能な盲目的四足歩行ポリシーを訓練するためのオープンソースフレームワークである。MuJoCo XLA (MJX)上でShort-Horizon Actor-Critic (SHAC)アルゴリズムを実装し、proprioceptiveポリシーを訓練して実機に転送する。展開されるポリシーは、base linear velocityなどの特権的なactor観測を除去し、参照軌跡に依存しない。また、報酬関数を大幅に簡素化し、従来の強化学習パイプラインで使われる複雑な補助報酬なしで歩行パターンを発見できるようにする。

2. 先行研究と比べてどこがすごい?

従来の強化学習による展開可能な歩行ポリシー開発は、複雑な報酬設計と長い訓練時間を必要とする。differentiable simulationは効率的な代替手段を提供するが、物理ハードウェアへのエンドツーエンド転送を可能にするオープンソースツールは限られていた。Open-DiffLocoは、differentiable simulationを用いて展開可能な歩行ポリシーを訓練する最初のオープンソースフレームワークである点が新しい。また、SHACへのアルゴリズム拡張としてJacobian-Augmented Value Estimation (JAVE)を提案し、初期のfirst-order policy-gradient訓練を改善する。

3. 技術・手法の肝は?

手法の核は、MJX上でのSHACアルゴリズムの実装と、JAVEによるcritic Jacobiansの監視である。ポリシーはproprioceptiveな観測のみを使用し、特権的な観測や参照軌跡を排除する。報酬関数は大幅に簡素化され、複雑な補助報酬を必要としない。訓練は単一のNVIDIA GeForce RTX 5080 GPUで6GB未満のVRAMを使用し、約20〜60分で完了する。

4. どうやって有効だと検証した?

Unitree Go2四足ロボットにポリシーを展開し、物理ハードウェア上で検証した。omnidirectional velocity commandsの追跡においてroot-mean-square errorが0.2 m/s未満、速度は1 m/s以上を達成し、不整地や横方向の押しなどの外部物理的擾乱に対して頑健であることを示した。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、提案されたJAVEがSHACの初期訓練を改善するという主張や、簡素化された報酬関数が歩行パターンの発見に有効であることに関する考察が考えられる。また、differentiable simulationの限界や、実機とのギャップについての議論があるかもしれないが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されているSHACアルゴリズムの元論文(Short-Horizon Actor-Critic for Locomotion)や、differentiable simulationを用いた関連研究(例えば、BraxやMuJoCo XLAを用いた研究)が挙げられる。また、四足歩行の強化学習における従来手法(例えば、RMAやDreamerなど)も関連するが、要旨では明示されていないため、一般名で示す。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Martin Opat

分類: cs.RO, cs.LG, eess.SY

原文アブストラクト

Developing deployable locomotion policies through conventional reinforcement learning often requires complex reward engineering and expensive training times. While differentiable simulation offers a highly efficient alternative, open-source tools capable of end-to-end transfer of these policies to physical hardware remain limited. This paper introduces Open-DiffLoco, an open-source framework for training deployable blind quadruped locomotion policies with differentiable simulation. The framework implements the Short-Horizon Actor-Critic (SHAC) algorithm in MuJoCo XLA (MJX) and trains a proprioceptive policy that transfers to real-world hardware. The deployed policy removes privileged actor observations, including base linear velocity, and does not rely on reference trajectories. It also uses a substantially simplified reward function, enabling the robot to discover walking patterns without the complex auxiliary rewards typically used in conventional reinforcement learning pipelines. When deployed on physical hardware (a Unitree Go2 quadruped), the trained policy tracks omnidirectional velocity commands with root-mean-square error below 0.2 m/s, reaches speeds above 1 m/s, and remains robust to uneven terrain and external physical disturbances, such as lateral pushes. Across the reported configurations, training uses under 6 GB of VRAM on a single NVIDIA GeForce RTX 5080 GPU and completes in approximately 20-60 minutes. As an algorithmic extension to SHAC, we propose Jacobian-Augmented Value Estimation (JAVE), which supervises the critic Jacobians to improve early first-order policy-gradient training. To our knowledge, Open-DiffLoco is the first open-source framework for training deployable locomotion policies using differentiable simulation. Deployment videos and source code are available at: https://diffloco.martin-opat.com/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI