日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2606.12497

μVLA:VLAモデルにおける部分観測操作のためのリカレントメモリ

$μ$VLA: On Recurrent Memory for Partially Observable Manipulation in VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに小さな学習可能なメモリトークンを追加し、時間ステップ間で自己注意により更新することで、部分観測下での操作性能を向上させる手法を提案した。

詳しい要約

1. どんなもの?

- 部分観測下の manipulation における VLA モデルの memory を研究 - 強い pretrained VLA backbone に recurrence のみを追加する制御された isolation study - learnable memory tokens を timestep 間で持ち越し self-attention で更新 - μVLA として OpenVLA-OFT の変種を提案 - memory width m、TBPTT length K、memory update rule で parameter 化

2. 先行研究と比べてどこがすごい?

- 既存の memory-augmented VLA は recurrence と retrieval、compression、auxiliary objectives、hierarchical memory、task-specific 変更を同時導入 - そのため recurrence 自体の寄与が周辺機構と絡み合っていた - 本研究は recurrence のみを唯一の変動因子として分離 - auxiliary loss や architectural change なしで評価 - 最小限の in-backbone recurrence の capability envelope を較正

3. 技術・手法の肝は?

- transformer に小さな learnable memory tokens を追加 - memory tokens を timestep 間で持ち越し self-attention で更新 - truncated backpropagation through time (TBPTT) で end-to-end 学習 - memory update rule は cross-step gradients または detached EMA - OpenVLA-OFT を backbone とし m、K、update rule で parameter 化

4. どうやって有効だと検証した?

- MIKASA-Robo で 5 training tasks の平均 success rate が 0.42 から 0.84 に向上 - 同じ memory structure で held-out tasks は 0.23、memoryless baseline は 0.07 - 異なる memory structure が必要なタスクでは performance は baseline 近く - LIBERO で最強 recurrent variant が 96.2% average success - full observability 下で regression がないことを確認

5. 議論はある?

- 最小限の in-backbone recurrence が十分な regime と追加 memory structure が必要な regime を特定 - 異なる memory structure が必要なタスクでは性能が baseline 近くにとどまる - recurrence のみの寄与を分離した結果の解釈を提示 - 限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- OpenVLA-OFT - MIKASA-Robo - LIBERO - memory-augmented VLA の既存手法(retrieval、compression、hierarchical memory など) - 同分野の定番として transformer-based VLA や imitation learning 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Egor Cherepanov, Nikita Kachaev, Daniil Zelezetsky, Aydar Bulatov, Artem Pshenitsyn, Yuri Kuratov, Alexey Skrynnik, Aleksandr I. Panov, Alexey K. Kovalev

分類: cs.LG, cs.RO

原文アブストラクト

Vision-language-action (VLA) models predict chunks of future actions from the current observation, an assumption that fails under partial observability, where decisions depend on information no longer visible. Existing memory-augmented VLAs simultaneously introduce recurrence, retrieval, compression modules, auxiliary objectives, hierarchical memory, or task-specific architectural changes, so the contribution of recurrence itself remains entangled with surrounding machinery. We present a controlled isolation study of recurrence in a strong pretrained VLA backbone. Our formulation augments the transformer with a small set of learnable memory tokens carried across timesteps and updated through self-attention, trained end to end with truncated backpropagation through time, with no auxiliary losses and no architectural changes. We instantiate this as $μ$VLA, a family of OpenVLA-OFT variants parameterized by memory width m, TBPTT length K, and the memory update rule (cross-step gradients or a detached EMA), so that recurrence is the only varying factor. On MIKASA-Robo, $μ$VLA improves average success rate on five training tasks from 0.42 to 0.84 at the strongest setting and reaches 0.23 on held-out tasks with the same memory structure versus 0.07 for the memoryless baseline. On tasks requiring different memory structure, performance remains near baseline. On LIBERO, the strongest recurrent variant achieves 96.2% average success, indicating no regression under full observability. We interpret these results as a calibration of the capability envelope of minimal in-backbone recurrence, identifying the regime in which it is sufficient and the regime where additional memory structure is required. Demos and videos can be found in https://avanturist322.github.io/mu-vla/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI