日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2606.20562

MemoryWAM: 持続的メモリによる効率的な世界行動モデリング

MemoryWAM: Efficient World Action Modeling with Persistent Memory

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作のための世界行動モデルに、最近のフレーム、イベント境界アンカーフレーム、長期履歴を要約するコンパクトなgistトークンを組み合わせたハイブリッドメモリ設計を導入し、長期的な記憶依存タスクを効率的に処理する手法を提案した。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションのためのWorld Action Model (WAM) であるMemoryWAMを提案。 - 効率的な永続メモリを持ち、長期履歴を保持しつつ推論コストを抑える。 - ハイブリッドメモリ設計：直近フレーム、イベント境界アンカーフレーム、長期履歴を要約するgist tokens。 - 注意機構により短期詳細と長期圧縮コンテキストを取得。 - 非マルコフ環境での記憶依存意思決定を低遅延・低GPUメモリで実現。

2. 先行研究と比べてどこがすごい？

- 既存WAMは効率的推論と長期履歴保持のトレードオフがあった。 - 直近窓のみの手法は非マルコフ環境で苦戦。 - 長期履歴保持手法は系列長に応じて時間・空間コストが増大。 - MemoryWAMはこのトレードオフを緩和し、計算効率を維持しつつ長期記憶を扱う。 - 強力なVLAおよびWAMベースラインを上回る性能を達成。

3. 技術・手法の肝は？

- ハイブリッドメモリ：直近フレーム、イベント境界アンカーフレーム、gist tokensを組み合わせ。 - gist tokensは長期履歴をコンパクトに要約。 - 専用注意機構で短期詳細と長期圧縮コンテキストを検索。 - これによりメモリ依存意思決定を低推論遅延・低GPUメモリで実現。

4. どうやって有効だと検証した？

- シミュレーションと実世界の両方で長期・記憶依存マニピュレーションタスクを実施。 - 強力なVLAおよびWAMベースラインと比較。 - 性能で上回り、計算効率も良好であることを確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：World Action Models (WAMs)、Vision-Language-Action (VLA) ベースライン。 - 関連手法：gist tokens、注意機構。 - 同分野の定番：Robotic Manipulation、World Models、Transformer-based Policies。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sizhe Yang, Juncheng Mu, Tianming Wei, Chenhao Lu, Xiaofan Li, Linning Xu, Zhengrong Xue, Zhecheng Yuan, Dahua Lin, Jiangmiao Pang, Huazhe Xu

分類: cs.RO

原文アブストラクト

Robust robotic manipulation in the real world requires not only an understanding of the current observation, but also memory and dynamics modeling. World action models (WAMs) possess these capabilities by jointly modeling visual foresight and actions conditioned on both current and historical observations, making them a promising paradigm for robotic manipulation. However, existing WAMs face a fundamental trade-off: methods with efficient inference typically condition only on a bounded window of recent observations and therefore struggle in non-Markovian environments, whereas methods that preserve long histories incur time and space costs that grow substantially with sequence length. To address this challenge, we introduce MemoryWAM, a world action model with efficient persistent memory. MemoryWAM uses a hybrid memory design that combines recent frames, event-boundary anchor frames, and compact gist tokens that summarize long-range history. A tailored attention mechanism enables retrieval of both detailed short-term context and compressed long-term context, supporting memory-dependent decision-making with reduced inference latency and GPU memory usage. Across long-horizon, memory-dependent manipulation tasks in both simulation and the real world, MemoryWAM outperforms strong vision-language-action (VLA) and WAM baselines while maintaining favorable computational efficiency.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →