日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.07593

Mamba2を用いた視覚-固有感覚融合による運動制御のためのエンドツーエンド強化学習

Vision-Proprioception Fusion with Mamba2 in End-to-End Reinforcement Learning for Motion Control

シェア:XThreadsFacebookLINEはてブBluesky

視覚と固有感覚をMamba2で融合し、長距離依存を効率的に扱うエンドツーエンド強化学習フレームワークを提案。多様な運動制御タスクで安全性と性能を向上。

詳しい要約

1. どんなもの?

- 本研究は、ロボットの運動制御のための end-to-end reinforcement learning (RL) フレームワークである。 - 視覚情報と固有感覚情報を融合する vision-proprioception fusion を採用する。 - 融合バックボーンとして SSD-Mamba2 を用いる。 - センサ入力からモータコマンドまでを直接学習し、異なるロボットやタスクに統一的なコントローラを目指す。

2. 先行研究と比べてどこがすごい?

- 既存手法は proprioception-only の blind な手法か、計算・メモリ効率の悪い fusion backbone に依存していた。 - Recurrent controller は long-horizon credit assignment が苦手であった。 - Transformer-based fusion は token 長に対して二次コストがかかり、時間的・空間的文脈が制限されていた。 - 本研究の SSD-Mamba2 は near-linear scaling と低レイテンシ・低メモリで長距離依存を保持し、より長い look-ahead と高い token 解像度を可能にする。

3. 技術・手法の肝は?

- SSD-Mamba2 は selective state-space backbone であり、state-space duality (SSD) を適用する。 - recurrent と convolutional の両方の scanning を可能にし、hardware-aware streaming と near-linear scaling を実現する。 - proprioceptive states と exteroceptive observations(例:depth tokens)を compact tokens にエンコードし、stacked SSD-Mamba2 layers で融合する。 - selective state-space updates により長距離依存を保持する。 - 地形や見た目をランダム化し、シーン複雑度を段階的に上げる curricula の下で end-to-end 学習する。 - タスク進捗・エネルギー効率・安全性のバランスを取る compact な state-centric reward を用いる。

4. どうやって有効だと検証した?

- 多様な motion-control scenarios において、strong state-of-the-art baselines と比較した。 - return、安全性(collisions と falls)、sample efficiency で一貫して上回った。 - 同じ compute budget でより速く収束した。 - 具体的なデータセット名や評価指標の詳細は要旨からは不明。

5. 議論はある?

- SSD-Mamba2 が resource-constrained な robotic and autonomous systems における実用的な fusion backbone であることを示唆する。 - engineering informatics applications への応用可能性に言及している。 - 限られた計算資源下での安定した学習や、より長い look-ahead・高い token 解像度の利点を議論している。 - 具体的な限界や失敗事例については要旨からは不明。

6. 次に読むべき論文は?

- SSD-Mamba2 の基盤である Mamba2 および state-space duality (SSD) に関する論文。 - 比較対象となった Transformer-based fusion や recurrent controller の関連研究。 - vision-proprioception fusion を用いた end-to-end RL の先行研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaowen Tao, Yinuo Wang, Jinzhao Zhou

分類: cs.RO, cs.AI, cs.CV, cs.SY, eess.IV, eess.SY

原文アブストラクト

End-to-end reinforcement learning (RL) for motion control trains policies directly from sensor inputs to motor commands, enabling unified controllers for different robots and tasks. However, most existing methods are either blind (proprioception-only) or rely on fusion backbones with unfavorable compute-memory trade-offs. Recurrent controllers struggle with long-horizon credit assignment, and Transformer-based fusion incurs quadratic cost in token length, limiting temporal and spatial context. We present a vision-driven cross-modal RL framework built on SSD-Mamba2, a selective state-space backbone that applies state-space duality (SSD) to enable both recurrent and convolutional scanning with hardware-aware streaming and near-linear scaling. Proprioceptive states and exteroceptive observations (e.g., depth tokens) are encoded into compact tokens and fused by stacked SSD-Mamba2 layers. The selective state-space updates retain long-range dependencies with markedly lower latency and memory use than quadratic self-attention, enabling longer look-ahead, higher token resolution, and stable training under limited compute. Policies are trained end-to-end under curricula that randomize terrain and appearance and progressively increase scene complexity. A compact, state-centric reward balances task progress, energy efficiency, and safety. Across diverse motion-control scenarios, our approach consistently surpasses strong state-of-the-art baselines in return, safety (collisions and falls), and sample efficiency, while converging faster at the same compute budget. These results suggest that SSD-Mamba2 provides a practical fusion backbone for resource-constrained robotic and autonomous systems in engineering informatics applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI