日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2506.13892

Mambaによる連続制御のためのアルゴリズム蒸留のスケーリング

Scaling Algorithm Distillation for Continuous Control with Mamba

シェア:XThreadsFacebookLINEはてブBluesky

Transformerの代わりにMamba(S6モデル)を用いてアルゴリズム蒸留を連続制御タスクに拡張し、長い文脈での学習性能を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、In-Context Reinforcement Learning (ICRL) を Algorithm Distillation (AD) で実現する際のスケーリング問題を扱う研究。 - 従来の AD は causal transformer で across-episodic training histories を自己回帰的にモデル化していた。 - 本研究は Selective Structured State Space Sequence (S6) モデル、特に S6 layers で構築された Mamba を AD に用いることを提案。 - 対象は複雑かつ連続的な Meta Reinforcement Learning 環境。

2. 先行研究と比べてどこがすごい?

- 先行の AD は attention 機構の制約により、transformer の quadratic complexity と短い時間軸の単純な離散環境に限定されていた。 - 本研究は S6 モデルが長距離系列モデリングで SOTA 性能を持ち、系列長に対して線形にスケールする点を活用。 - これにより AD を長いコンテキストへスケール可能にし、複雑な連続制御環境へ拡張。 - 結果として Mamba が AD において transformer より総合的に優れることを示した。

3. 技術・手法の肝は?

- AD の枠組みを維持しつつ、自己回帰モデルを causal transformer から S6 layers で構築された Mamba に置き換える。 - S6 の選択的状態空間モデルにより、長距離系列を線形計算量で扱う。 - across-episodic training histories を自己回帰的にモデル化する ICRL の学習を、長いコンテキストで実行可能にする。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- 4つの複雑かつ連続的な Meta Reinforcement Learning 環境で実験。 - Mamba と transformer の AD 性能を比較し、Mamba の総合的な優位性を示した。 - AD を非常に長いコンテキストへスケールすると ICRL 性能が向上することを示した。 - さらに、SOTA の online meta RL baseline と比較しても競争力があることを示した。

5. 議論はある?

- 長いコンテキストへの AD のスケーリングが ICRL 性能を改善し、online meta RL baseline と競争可能になる点を議論。 - transformer の quadratic complexity と短い時間軸・離散環境という実用上の制約を、S6/Mamba が緩和する可能性を示唆。 - 具体的な限界、計算コスト、一般化性、失敗事例などは要旨からは不明。

6. 次に読むべき論文は?

- Algorithm Distillation (AD) の原論文。 - Selective Structured State Space Sequence (S6) モデルおよび Mamba の原論文。 - In-Context Reinforcement Learning (ICRL) に関する関連研究。 - 比較対象として言及された SOTA の online meta RL baseline の論文。 - 長距離系列モデリングや Meta Reinforcement Learning の定番手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samuel Beaussant, Mehdi Mounsif

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Algorithm Distillation (AD) was recently proposed as a new approach to perform In-Context Reinforcement Learning (ICRL) by modeling across-episodic training histories autoregressively with a causal transformer model. However, due to practical limitations induced by the attention mechanism, experiments were bottlenecked by the transformer's quadratic complexity and limited to simple discrete environments with short time horizons. In this work, we propose leveraging the recently proposed Selective Structured State Space Sequence (S6) models, which achieved state-of-the-art (SOTA) performance on long-range sequence modeling while scaling linearly in sequence length. Through four complex and continuous Meta Reinforcement Learning environments, we demonstrate the overall superiority of Mamba, a model built with S6 layers, over a transformer model for AD. Additionally, we show that scaling AD to very long contexts can improve ICRL performance and make it competitive even with a SOTA online meta RL baseline.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI