日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.19732

Memo: 強化学習による記憶効率の良い身体性エージェントの訓練

Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

Transformerベースの強化学習において、定期的な要約トークンを入力に挟み込むことで記憶の生成と検索を行い、長期的なタスクを効率的に学習する手法を提案。

詳しい要約

1. どんなもの?

- 長時間の embodied sequential decision-making のための transformer-based policy の学習手法 - 名称は Memo - 記憶の生成と検索を組み込んだアーキテクチャと training recipe を提案 - 対象は reinforcement learning (RL) の memory-intensive, long-horizon タスク - コード公開: https://github.com/gunshi/memo

2. 先行研究と比べてどこがすごい?

- 既存手法は大きく2系統に偏っていた - recurrent models with fixed-size memory - transformers with full-context reliance - Memo は transformer ベースで記憶の要約と検索を学習に組み込む点が異なる - 単純な long-context transformer baseline を上回る - 計算・保存コストがより効率的 - 推論時の長い context への汎化と streaming 設定での頑健性も示す

3. 技術・手法の肝は?

- transformer-based architecture と training recipe - 学習中に periodic summarization tokens をモデル入力へ interleave する - これにより記憶の creation と retrieval を同時に学習 - 入力の多くを抽象化・圧縮し、context 制限への対処を狙う - 詳細な実装は要旨からは不明

4. どうやって有効だと検証した?

- gridworld meta-RL benchmark で評価 - photo-realistic indoor settings における multi-object navigation タスクで評価 - naive long-context transformer baselines との比較で優位 - 計算・保存効率、長い context への汎化、streaming 設定での頑健性を確認 - 具体的な指標・数値は要旨からは不明

5. 議論はある?

- 記憶の圧縮により context 制限を緩和できる可能性を示唆 - 推論時に historical context を truncate する streaming 設定への対応を議論 - 一方で、要旨からは不明な点が多い - 要約トークンの設計や圧縮率の限界 - 失敗事例や計算コストの詳細 - 他タスクへの汎化範囲

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられているもの - recurrent models with fixed-size memory - transformers with full-context reliance - naive long-context transformer baselines - 関連する定番として transformer-based RL policies や memory-augmented RL の文献を参照するとよい - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gunshi Gupta, Karmesh Yadav, Zsolt Kira, Yarin Gal, Rahaf Aljundi

分類: cs.AI, cs.CV, cs.RO

原文アブストラクト

To enable embodied agents to operate effectively over extended timeframes, it is crucial to develop models that form and access memories to stay contextualized in their environment. In the current paradigm of training transformer-based policies for embodied sequential decision-making tasks, visual inputs often overwhelm the context limits of transformers, while humans can maintain and utilize a lifetime of experience compressed as memories. Significant compression is possible in principle, as much of the input is irrelevant and can be abstracted. However, existing approaches predominantly focus on either recurrent models with fixed-size memory or transformers with full-context reliance. In this work, we propose Memo, a transformer-based architecture and training recipe for reinforcement learning (RL) on memory-intensive, long-horizon tasks. Memo incorporates the creation and retrieval of memory by interleaving periodic summarization tokens with the inputs of a model during training. We demonstrate Memo's effectiveness on a gridworld meta-RL benchmark and a multi-object navigation task in photo-realistic indoor settings. Memo outperforms naive long-context transformer baselines while being more compute and storage efficient. Additionally, Memo generalizes better to longer contexts at inference time and remains robust in streaming settings, where historical context must be truncated to fit inference constraints. Our code is available at: https://github.com/gunshi/memo.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI