日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2508.11849

LocoMamba:Mambaを用いた視覚駆動型移動制御のためのエンドツーエンド深層強化学習

LocoMamba: Vision-Driven Locomotion via End-to-End Deep Reinforcement Learning with Mamba

シェア:XThreadsFacebookLINEはてブBluesky

Mambaベースの選択的状態空間モデルを用いて、深度画像と固有受容感覚からエンドツーエンドで移動方策を学習するDRLフレームワークを提案し、障害物回避や不整地での性能・汎化・学習効率を向上させた。

詳しい要約

1. どんなもの?

- 視覚駆動の移動制御(Locomotion)のための end-to-end 深層強化学習(DRL)フレームワーク「LocoMamba」 - selective state-space model である Mamba を基盤とした cross-modal DRL - proprioceptive states と depth images を入力とし、方策を end-to-end で学習 - 静的・動的障害物および不整地を含むシミュレーション環境で評価

2. 先行研究と比べてどこがすごい?

- state-of-the-art ベースラインと比較して高い return と成功率、より少ない衝突を達成 - 未見の地形や障害物密度への汎化がより強い - 同一計算予算下でより少ない更新回数で収束し、学習効率が向上 - 系列長や画像解像度に対して頑健で、近線形時間の系列モデリングを実現

3. 技術・手法の肝は?

- proprioceptive states を multilayer perceptron で埋め込み、depth images を軽量 CNN で patchify してコンパクトな token を生成 - 積層した Mamba 層が near-linear-time の selective scanning で token を融合し、遅延とメモリを削減 - token 長・画像解像度への頑健性と過学習を緩和する inductive bias を提供 - Proximal Policy Optimization で end-to-end 学習し、terrain/appearance randomization と obstacle-density curriculum を適用 - 進捗・滑らかさ・安全性のバランスを取る compact state-centric reward を使用

4. どうやって有効だと検証した?

- 静的・動的障害物および不整地を含む困難なシミュレーション環境で評価 - state-of-the-art ベースラインと return・成功率・衝突数で比較 - 未見の地形・障害物密度への汎化を検証 - 同一計算予算下での収束に要する更新回数で学習効率を比較

5. 議論はある?

- 実機実験や sim-to-real 転移への言及は要旨からは不明 - ベースラインの具体的な手法名は要旨からは不明 - 報酬設計の詳細な重みや curriculum の設定は要旨からは不明 - 計算コストの定量的な比較結果は要旨からは不明

6. 次に読むべき論文は?

- Mamba(selective state-space model)の原論文 - Proximal Policy Optimization の原論文 - vision-driven locomotion の代表的手法(例: legged locomotion における end-to-end 学習研究) - cross-modal fusion を用いた DRL による移動制御の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinuo Wang, Gavin Tao

分類: cs.RO, cs.AI, cs.CV, cs.SY, eess.IV, eess.SY

原文アブストラクト

We introduce LocoMamba, a vision-driven cross-modal DRL framework built on selective state-space models, specifically leveraging Mamba, that achieves near-linear-time sequence modeling, effectively captures long-range dependencies, and enables efficient training with longer sequences. First, we embed proprioceptive states with a multilayer perceptron and patchify depth images with a lightweight convolutional neural network, producing compact tokens that improve state representation. Second, stacked Mamba layers fuse these tokens via near-linear-time selective scanning, reducing latency and memory footprint, remaining robust to token length and image resolution, and providing an inductive bias that mitigates overfitting. Third, we train the policy end-to-end with Proximal Policy Optimization under terrain and appearance randomization and an obstacle-density curriculum, using a compact state-centric reward that balances progress, smoothness, and safety. We evaluate our method in challenging simulated environments with static and moving obstacles as well as uneven terrain. Compared with state-of-the-art baselines, our method achieves higher returns and success rates with fewer collisions, exhibits stronger generalization to unseen terrains and obstacle densities, and improves training efficiency by converging in fewer updates under the same compute budget.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI