日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/メモリarXiv:2510.07151

ELMUR: 長期的RL問題のための更新/書き換え可能な外部層メモリ

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL Problems

シェア:XThreadsFacebookLINEはてブBluesky

トランスフォーマの各層に外部メモリを持たせ、LRUで更新・書き換えすることで、部分観測・長期ホライズンの強化学習タスクにおける性能を大幅に向上させた手法。

詳しい要約

1. どんなもの?

- 長期的・部分観測可能なロボティクス課題向けのTransformerアーキテクチャ「ELMUR (External Layer Memory with Update/Rewrite)」。 - 各層に外部メモリ埋め込みを保持し、長期依存を保持・活用する。 - 合成T-Maze、POPGym、MIKASA-Roboで評価。

2. 先行研究と比べてどこがすごい?

- 従来のrecurrent/transformerは長期依存の保持が苦手で、context windowによる履歴切断や、単純なメモリ拡張がscale/sparsityで破綻する問題があった。 - ELMURは層ローカルの構造化外部メモリにより、attention windowを最大100,000倍超える実効horizonを実現。 - POPGymで半数超のタスク、MIKASA-Roboで23タスク中21タスクのbest success rateを達成。

3. 技術・手法の肝は?

- Transformerの各層がmemory embeddingsを保持。 - bidirectional cross-attentionでメモリと相互作用。 - Least Recently Used (LRU) memory moduleでreplacementまたはconvex blendingにより更新/書き換え。 - 構造化された層ローカル外部メモリが肝。

4. どうやって有効だと検証した?

- 合成T-Mazeで最大100万ステップのcorridor、100% success rate。 - POPGymでbaselineを半数超のタスクで上回る。 - MIKASA-Roboのsparse-reward manipulation(視覚観測)で、23タスク中21タスクbest、集計success rateを前best baseline比約70%改善、強いbaselineの約2倍。

5. 議論はある?

- 構造化された層ローカル外部メモリが部分観測下の意思決定に簡便かつスケーラブルであることを示唆。 - 具体的な限界や失敗ケース、計算コスト、メモリサイズの影響などは要旨からは不明。

6. 次に読むべき論文は?

- 比較対象としてPOPGym、MIKASA-Robo、T-Maze関連のbaseline(recurrent/transformer系)。 - 関連手法としてLRU memory、external memory、cross-attention、convex blendingを用いるmemory-augmented transformer。 - 同分野の定番としてRecurrent Neural Network (RNN)、Transformer-XL、Memory Networksなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Real-world robotic agents must act under partial observability and long horizons, where key cues may appear long before they affect decision making. However, most modern approaches rely solely on instantaneous information, without incorporating insights from the past. Standard recurrent or transformer models struggle with retaining and leveraging long-term dependencies: context windows truncate history, while naive memory extensions fail under scale and sparsity. We propose ELMUR (External Layer Memory with Update/Rewrite), a transformer architecture with structured external memory. Each layer maintains memory embeddings, interacts with them via bidirectional cross-attention, and updates them through an Least Recently Used (LRU) memory module using replacement or convex blending. ELMUR extends effective horizons up to 100,000 times beyond the attention window and achieves a 100% success rate on a synthetic T-Maze task with corridors up to one million steps. In POPGym, it outperforms baselines on more than half of the tasks. On MIKASA-Robo sparse-reward manipulation tasks with visual observations, it nearly doubles the performance of strong baselines, achieving the best success rate on 21 out of 23 tasks and improving the aggregate success rate across all tasks by about 70% over the previous best baseline. These results demonstrate that structured, layer-local external memory offers a simple and scalable approach to decision making under partial observability. Code and project page: https://elmur-paper.github.io/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI