日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2607.26434

低コスト四足ロボットハードウェアにおける強化学習

Reinforcement Learning on Cost-Constrained Quadrupedal Hardware

シェア:XThreadsFacebookLINEはてブBluesky

低コスト四足ロボットの遅延やノイズを考慮し、時間認識ニューラルネットワークと平均遅延モデルを用いてsim-to-realギャップを縮小し、堅牢な歩行を実現した。

詳しい要約

1. どんなもの?

本論文は、低コストの四足ロボットハードウェア(Mini Pupper 2)上で強化学習(Reinforcement Learning)による歩行制御を展開する際に生じる、アクチュエータの輸送遅延(>50 ms)とノイズの多いモータフィードバックがシミュレーションから実機へのギャップ(sim-to-real gap)を広げる問題に取り組む。遅延によりタスクが部分観測マルコフ決定過程(POMDP)となるため、生物学的に着想を得た手法として、平均アクチュエータ遅延の前方モデルと時間認識型ニューラルネットワーク(time-aware neural network)を用いることで、堅牢な歩行を実現する。さらに、このネットワークが脊椎動物の脊髄に見られる中枢パターン生成器(CPG)に類似した自己持続的なリズム歩容を学習することを示す。

2. 先行研究と比べてどこがすごい?

従来のsim-to-real研究では、ドメインランダム化やシステム同定などでギャップを縮めることが多いが、低コストハードウェア特有の大きな輸送遅延(>50 ms)を明示的に扱う研究は少ない。本手法は、遅延を部分観測性の問題として捉え、時間認識型ネットワークと遅延の前方モデルを導入することで、遅延の影響を直接モデル化する点が新しい。また、学習されたネットワークがCPGを自己組織化することを示し、時間的自己組織化が低コスト歩行の一般的戦略となり得るという洞察を提供する点で優れている。

3. 技術・手法の肝は?

手法の核は、(1) アクチュエータの平均遅延を推定する前方モデルを学習に組み込むこと、(2) 時間情報を明示的に扱うtime-aware neural network(例:リカレントネットワークや時間埋め込み)を用いること、(3) 遅延を考慮した報酬設計や状態表現により、POMDPを近似的に解決すること。さらに、ネットワークがCPGを自己組織化することを利用し、外部からのリズム入力なしに自己持続的な歩容を生成する。具体的なネットワーク構造や学習アルゴリズムは要旨からは不明だが、遅延のモデル化と時間的ダイナミクスの学習が重要とされる。

4. どうやって有効だと検証した?

低コスト四足ロボットプラットフォーム(Mini Pupper 2)上で実験を行い、提案手法が堅牢な歩行を実現することを示した。特に、学習されたtime-aware neural networkがCPGを獲得し、+320 msの遅延摂動に対して堅牢であることを確認した。シミュレーションと実機の比較や、遅延がない場合との比較など、具体的な評価指標は要旨からは不明だが、遅延に対する頑健性を実証している。

5. 議論はある?

議論として、時間的自己組織化が低コスト歩行の一般的戦略である可能性を提唱しているが、これは特定のプラットフォームと遅延条件での結果に基づくため、他のハードウェアやタスクへの一般化にはさらなる検証が必要。また、CPGの自己組織化がどのように起こるのか、そのメカニズムの詳細は要旨からは不明。さらに、遅延のモデル化が正確でない場合の影響や、より大きな遅延に対する限界についても議論の余地がある。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、sim-to-realギャップを扱う研究(例えば、ドメインランダム化を用いた強化学習)、CPGを模倣した歩行制御、遅延を考慮した強化学習(例えば、部分観測マルコフ決定過程に対するアプローチ)などが挙げられる。具体的には、"Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics"や"Central Pattern Generators for Locomotion Control"などの論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Javier C. Weddington, Bence P. Ölveczky, Stephen A. Baccus

分類: cs.RO, cs.AI

原文アブストラクト

Deploying learned control policies on low-cost robotic platforms introduces transport latencies and noisy motor feedback that systematically widens the sim-to-real gap. The chasm of simulation to deployment in hardware lies in the delay of the actuator reaching the commanded position. On platforms such as the Mini Pupper 2, a measured >50 ms transport delay transforms the locomotion task from a standard Markov decision process into a partially observable one. In this paper, we take a biologically inspired approach of handling noisy and delayed feedback to close the sim-to-real gap, thereby expanding the capability of reinforcement learning on cost-constrained hardware. Using a low-cost quadrupedal hardware platform, we find that using a forward model of the average actuator delay, paired with a time-aware neural network results in robust locomotion. Additionally, our time-aware neural network learned a central pattern generator (CPG): a self-sustaining rhythmic gait that is robust to +320 ms latency perturbations, mirroring the CPGs found in the spinal cords of vertebrates. We posit that temporal self-organization may be a general strategy for cost-constrained locomotion.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI