VLA/長期操作2026/3/1arXiv:2603.07647

TempoFit: 長期的視覚言語行動操作のためのプラグアンドプレイ層別時間KVメモリ

TempoFit: Plug-and-Play Layer-Wise Temporal KV Memory for Long-Horizon Vision-Language-Action Manipulation

事前学習済みの視覚言語行動(VLA)ポリシーに、追加学習なしで時間的記憶を注入するTempoFitを提案。層ごとのKVキャッシュと再帰バイアスにより、長期的な操作タスクの成功率を向上させる。

詳しい要約

1. どんなもの？

- 対象は Pretrained Vision-Language-Action (VLA) policies の長期的操作 - 既存 VLA は推論がほぼ memoryless で、occlusion・state aliasing・post-action changes に弱い - TempoFit は training-free な temporal retrofit で frozen VLA を state-level memory で強化 - prefix attention K/V を model-native な content-addressable runtime state とみなす - 新規 token や trainable module を追加せず履歴を導入する

2. 先行研究と比べてどこがすごい？

- 従来は frame stacking で履歴を注入し、visual tokens と latency が増大 - frame stacking は near-duplicate pixels を追加する問題がある - 別の手法は temporal interface を学習し、(再)training が必要 - それらは元の single-frame inference graph を壊す可能性がある - TempoFit は training-free で frozen VLA をそのまま活かし、新規 token も不要

3. 技術・手法の肝は？

- 選択した中間層で layer-wise FIFO prefix K/V を保存 - parameter-free な K-to-K retrieval を実行 - Frame-Gap Temporal Bias (FGTB) を導入 - FGTB は NLP の positional biases に着想を得た固定の recency bias - これにより決定を present-dominant に保つ - 取得した context を pre-attention residual loading で注入 - norm-preserving rescaling により frozen weights 下の distribution shift を回避

4. どうやって有効だと検証した？

- LIBERO-LONG で評価 - 強い pretrained backbones を最大 +4.0% average success rate 改善 - near-real-time latency を維持 - CALVIN へ一貫して転移 - real-robot long-horizon tasks へも転移

5. 議論はある？

- 要旨からは不明 - ただし training-free で frozen VLA を強化する点、latency 維持が主張されている - 限界や失敗ケース、計算コストの詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 関連手法として frame stacking や temporal interface learning が挙げられている - 同分野の定番として Vision-Language-Action (VLA) policies、LIBERO-LONG、CALVIN が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jun Sun, Boyu Yang, Jiahao Zhang, Ning Ma, Chencheng Wu, Siqing Zhang, Yiou Huang, Qiufeng Wang, Shan Liang, Yaran Chen

分類: cs.RO

原文アブストラクト

Pretrained Vision-Language-Action (VLA) policies have achieved strong single-step manipulation, but their inference remains largely memoryless, which is brittle in non-Markovian long-horizon settings with occlusion, state aliasing, and subtle post-action changes. Prior approaches inject history either by stacking frames, which scales visual tokens and latency while adding near-duplicate pixels, or by learning additional temporal interfaces that require (re-)training and may break the original single-frame inference graph. We present TempoFit, a training-free temporal retrofit that upgrades frozen VLAs through state-level memory. Our key insight is that prefix attention K/V already form a model-native, content-addressable runtime state; reusing them across timesteps introduces history without new tokens or trainable modules. TempoFit stores layer-wise FIFO prefix K/V at selected intermediate layers, performs parameter-free K-to-K retrieval with Frame-Gap Temporal Bias (FGTB), a fixed recency bias inspired by positional biases in NLP, to keep decisions present-dominant, and injects the retrieved context via pre-attention residual loading with norm-preserving rescaling to avoid distribution shift under frozen weights. On LIBERO-LONG, TempoFit improves strong pretrained backbones by up to +4.0% average success rate while maintaining near-real-time latency, and it transfers consistently to CALVIN and real-robot long-horizon tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧