日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.05533

SimpleMemVLA: 視覚言語行動モデルのためのシンプルかつ効果的なネイティブビデオメモリ

SimpleMemVLA: A Simple but Effective Native-Video Memory for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

専用メモリモジュールを使わず、過去の観察をタイムスタンプ付きビデオとしてそのままバックボーンに渡すことで、長時間の操作タスクで高い性能を達成するVLAを提案した。

詳しい要約

1. どんなもの?

SimpleMemVLAは、専用のメモリモジュールを持たないVision-Language-Action Model (VLA)である。長期的な操作タスクにおいて、過去の観測履歴をそのままタイムスタンプ付きのビデオ形式でバックボーンに渡し、生成されたサブタスクの隠れ状態を唯一の履歴からアクションヘッドへのチャネルとして利用する。

2. 先行研究と比べてどこがすごい?

既存のメモリ機構(検索バンク、学習圧縮器、リカレント状態)は、将来の決定に何が必要かを知る前に過去から保持するものを決定する必要があった。これは分単位の履歴が大きすぎて直接処理できないという仮定に基づくが、現代のVLMバックボーンではもはや真ではない。SimpleMemVLAはこの仮定を覆し、履歴を直接処理することで、これらの機構を大幅に上回る性能を達成した。

3. 技術・手法の肝は?

手法の肝は、専用メモリモジュールを廃し、サンプリングされた履歴をそのままバックボーンが事前学習されたタイムスタンプ付きビデオ形式で渡すこと。連続する決定は履歴の大部分を共有するため、実行中に共有プレフィックスをプリフィルすることで、レイテンシを単一フレームのVLAとほぼ同等に保つ。

4. どうやって有効だと検証した?

4つのメモリベンチマークで新しい最先端を達成し、汎用制御のコストなしで検証した。バックボーンとトレーニング設定を固定した上で、検索、圧縮、リカレント状態のメカニズムと比較して広いマージンで上回り、因果的介入によりポリシーが実際に履歴を読み取ることを確認した。

5. 議論はある?

要旨からは、履歴を直接処理することの計算コストや、より長い履歴へのスケーラビリティ、サブタスク生成の詳細、因果的介入の具体的な方法などは不明。また、メモリベンチマーク以外のタスクでの汎化性能や、実ロボットでの検証についても言及がない。

6. 次に読むべき論文は?

要旨で参照されている既存のメモリ機構(retrieval banks, learned compressors, recurrent states)に関する論文や、VLMバックボーンをVLAに適用した関連研究が挙げられる。具体的には、RT-2やOctoなどのVLAモデル、およびメモリ強化型のVLA手法(例:Memory-Augmented VLA)が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cheng Yin, Wang Xu, Junpeng Yang, Sikyuen Tam, Hanyu Liu, Yuan Yao, Xiangrui Zeng, Junbo Cui, Yequan Wang, Zhouping Yin, Yankai Lin

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Long-horizon manipulation is partially observable: the information needed to choose the next action may appear only in observations from minutes earlier. Existing memory mechanisms: retrieval banks, learned compressors, recurrent states must decide what to keep from the past before knowing what a future decision will require. This was motivated by the assumption that minute-scale history is too large to process directly, which modern VLM backbones no longer make true. In this work, we introduce SimpleMemVLA, a VLA without a dedicated memory module. It keeps the sampled history intact and passes it to the backbone in the timestamped video format the backbone was pretrained to process; the hidden states of a generated sub-task then form the only channel from history to a standard flow-matching action head. Since consecutive decisions share most of their history, prefilling the shared prefix during action execution keeps latency close to a single-frame VLA. SimpleMemVLA sets a new state of the art on four memory benchmarks without cost on general-purpose control. Holding the backbone and training setup fixed, it outperforms retrieval, compression and recurrent-state mechanisms by a wide margin, and causal interventions confirm that the policy genuinely reads its history. Code available at https://github.com/wadeKeith/SimpleMemVLA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI