日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.19236

MemoryVLA: ロボット操作のための視覚-言語-行動モデルにおける知覚・認知記憶

MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の作業記憶と海馬の記憶機構に着想を得て、知覚・認知トークンを記憶バンクに蓄え再利用するVLAモデルを提案し、長期的な依存を含む操作タスクで従来手法を上回る成功率を達成した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルによるロボットマニピュレーションのための新しいフレームワーク「MemoryVLA」 - 認知科学の working memory と hippocampal system に着想を得た Cognition-Memory-Action 構造 - 長期的・時間依存タスク (long-horizon, non-Markovian) への対応を狙う - 構成要素 - 事前学習済み VLM が観測を perceptual/cognitive tokens に符号化し working memory を形成 - Perceptual-Cognitive Memory Bank が低次詳細と高次意味を保持 - memory-conditioned diffusion action expert が時間を考慮した行動系列を生成

2. 先行研究と比べてどこがすごい?

- 主流の VLA モデルは時間的文脈を軽視しており、long-horizon で時間依存なタスクが苦手という課題があった - 本手法は working memory と長期記憶バンクを明示的に導入し、時間的文脈を扱える点が新しい - 実験で state-of-the-art ベースラインの CogACT と pi-0 を全ベンチマークで上回る - SimplerEnv-Bridge で +14.6、Mikasa-Robo で +11.8 の改善 - 実世界の long-horizon タスクで +26 の改善

3. 技術・手法の肝は?

- 事前学習済み VLM で観測を perceptual tokens と cognitive tokens に符号化し working memory を構成 - Perceptual-Cognitive Memory Bank - working memory から統合された低次詳細 (verbatim) と高次意味 (semantic gist) を保存 - Working memory の動作 - バンクから意思決定に関連するエントリを検索 (retrieve) - 現在の tokens と適応的に融合 (fuse) - 冗長性を統合してバンクを更新 (merge/update) - memory-conditioned diffusion action expert がこれらの tokens を用いて時間を考慮した行動系列を生成

4. どうやって有効だと検証した?

- 3 種類のロボットにわたり 150 以上のシミュレーションおよび実世界タスクで評価 - シミュレーションベンチマークの成功率 - SimplerEnv-Bridge: 71.9% - Fractal: 72.7% - LIBERO-5: 96.5% - Mikasa-Robo: 41.2% - 実世界 12 タスク (一般スキルと long-horizon 時間依存) で 84.0% の成功率 - すべてで CogACT と pi-0 を上回り、long-horizon タスクで +26 の改善

5. 議論はある?

- 認知科学の working memory と hippocampal system の機構を工学的に模倣する設計の妥当性が示唆される - メモリバンクの検索・融合・冗長性統合の設計が long-horizon 性能に寄与する可能性 - ただし要旨からは、メモリバンクの容量・更新頻度・検索精度などの詳細や、失敗事例・限界についての議論は不明 - 各コンポーネントのアブレーション結果や計算コストの議論も要旨からは不明

6. 次に読むべき論文は?

- CogACT (比較対象の state-of-the-art VLA ベースライン) - pi-0 (比較対象の state-of-the-art VLA ベースライン) - 認知科学の working memory および hippocampal system に関する関連研究 - diffusion policy 系の action expert に関する研究 - ベンチマークとして SimplerEnv-Bridge, Fractal, LIBERO-5, Mikasa-Robo の原論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Shi, Bin Xie, Yingfei Liu, Lin Sun, Fengrong Liu, Tiancai Wang, Erjin Zhou, Haoqiang Fan, Xiangyu Zhang, Gao Huang

分類: cs.RO, cs.CV

原文アブストラクト

Temporal context is essential for robotic manipulation because such tasks are inherently non-Markovian, yet mainstream VLA models typically overlook it and struggle with long-horizon, temporally dependent tasks. Cognitive science suggests that humans rely on working memory to buffer short-lived representations for immediate control, while the hippocampal system preserves verbatim episodic details and semantic gist of past experience for long-term memory. Inspired by these mechanisms, we propose MemoryVLA, a Cognition-Memory-Action framework for long-horizon robotic manipulation. A pretrained VLM encodes the observation into perceptual and cognitive tokens that form working memory, while a Perceptual-Cognitive Memory Bank stores low-level details and high-level semantics consolidated from it. Working memory retrieves decision-relevant entries from the bank, adaptively fuses them with current tokens, and updates the bank by merging redundancies. Using these tokens, a memory-conditioned diffusion action expert yields temporally aware action sequences. We evaluate MemoryVLA on 150+ simulation and real-world tasks across three robots. On SimplerEnv-Bridge, Fractal, LIBERO-5 suites and Mikasa-Robo, it achieves 71.9%, 72.7%, 96.5%, and 41.2% success rates, respectively, all outperforming state-of-the-art baselines CogACT and pi-0, with a notable +14.6 gain on Bridge and +11.8 gain on Mikasa-Robo. On 12 real-world tasks spanning general skills and long-horizon temporal dependencies, MemoryVLA achieves 84.0% success rate, with long-horizon tasks showing a +26 improvement over state-of-the-art baseline. Project Page: https://shihao1895.github.io/MemoryVLA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI