日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.20679

MemoryVAM: ロボット操作のためのビデオ行動モデルへの記憶統合

MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ビデオワールドモデルポリシーにエピソード記憶機構を導入し、長期的な操作タスクで過去の情報を活用できるようにした。LIBERO-Memで成功率を5%から42.5%に向上させた。

詳しい要約

1. どんなもの?

ビデオ世界モデルに基づくロボット操作ポリシーに、エピソード記憶機構を組み込んだ MemoryVAM を提案する研究。 - 従来の video-world-model policy は短い観測窓のみを条件とするため、過去の見えない事象に依存する long-horizon manipulation では非マルコフ的になる問題を扱う。 - Recap-Cue (RC) モジュールを導入し、Perceiver ベースの Recap Compressor が per-frame CLIP embeddings を compact memory tokens に変換する。 - lightweight Cue Gate が memory と language からタスク完了度を推定する。 - これらの tokens を video backbone と action decoder の両方に注入し、ポリシーの想像をエピソード進捗に整合させ、行動を履歴に条件付ける。

2. 先行研究と比べてどこがすごい?

従来の video-world-model policies は短い観測窓のみを条件とするため、long-horizon manipulation で非マルコフ的になる。 - 本手法は episodic memory を導入し、もはや見えていない過去の事象に基づいて正しい行動を選べるようにする点が新しい。 - per-frame progress labels を必要とせず、video prediction、delta-reconstruction auxiliary loss、episode-boundary supervision で memory module を学習する点が先行研究と異なる。 - 同一機構を UNet と Diffusion Transformer (DiT) の両 backbone に、cross-attention injection interface の変更のみで適用可能。

3. 技術・手法の肝は?

Recap-Cue (RC) モジュールが中核。 - Perceiver ベースの Recap Compressor が per-frame CLIP embeddings を compact memory tokens に圧縮する。 - lightweight Cue Gate が memory と language からタスク完了度を推定する。 - memory tokens を video backbone と action decoder の両方に注入し、ポリシーの想像をエピソード進捗に整合させ、行動を履歴に条件付ける。 - 学習は video prediction、delta-reconstruction auxiliary loss、episode-boundary supervision を用い、per-frame progress labels を不要とする。 - UNet と Diffusion Transformer (DiT) の両 backbone に、cross-attention injection interface の変更のみで適用可能。

4. どうやって有効だと検証した?

LIBERO-Mem と実機ロボットで評価。 - LIBERO-Mem では平均成功率が 5% から 42.5% に向上。 - 実機では counting tasks で 78.3%、spatial recall で 80.0%、sequential tracking で 75.0% の成功率を達成。 - 詳細な実験設定やベースラインは要旨からは不明。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、memory tokens の解釈性などについての議論は要旨に記載がない。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として video-world-model policies、Perceiver、CLIP、UNet、Diffusion Transformer (DiT)、LIBERO-Mem が挙げられる。 - 同分野の定番として video prediction に基づく policy learning や long-horizon manipulation の研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxin Jiang, Chang Yu, Yunuo Chen, Xiang Feng, Yin Yang, Nishank Gite, Chenfanfu Jiang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Video-world-model policies learn action-relevant representations by predicting future observations. However, they condition on only a short observation window, which renders long-horizon manipulation non-Markovian when the correct action depends on earlier events that are no longer visible. We present MemoryVAM, an episodic memory mechanism for video-world-model policies. We employ a Recap-Cue (RC) module, in which a Perceiver-based Recap Compressor maps per-frame CLIP embeddings into compact memory tokens, and a lightweight Cue Gate estimates task completion from memory and language. These tokens are injected into both the video backbone and the action decoder, aligning policy imagination with episode progress and conditioning actions on history. Our model trains the memory module with video prediction, a delta-reconstruction auxiliary loss, and episode-boundary supervision, requiring no per-frame progress labels. The same mechanism applies to UNet and Diffusion Transformer (DiT) backbones by changing only the cross-attention injection interface. On LIBERO-Mem, our model improves average success from 5% to 42.5%. On real robots, it achieves 78.3% success on counting tasks, 80.0% on spatial recall, and 75.0% on sequential tracking. Project page: https://MemoryVAM.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI