日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39794

インラインメモリと再利用可能スキルの融合:視覚-言語-行動モデルのためのメモリ中心フレームワーク

Inline Memory Meets Reusable Skills: Memory-centric Framework for Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルに学習可能なメモリトークンを挿入し、クエリ-スキルメモリバンクでスキルを外部化することで、パラメータ更新を抑えつつ新タスクへの適応と破滅的忘却の緩和を実現した。

詳しい要約

1. どんなもの?

- 提案手法: Optimus-R - Vision-Language-Action (VLA) モデルの適応を効率化する memory-centric フレームワーク - ロボット適応を query-skill memory tuning として定式化 - 主要コンポーネント: - Inline Memory Interface: スキル抽出のための学習可能なメモリトークンを VLA prefix stream に挿入 - Query-Skill Memory Bank: スキルを query prototypes と skill values に外部化し、再利用と拡張を支援 - Bridge-and-Adapt: 軽量アダプタと残差メモリ更新でターゲットドメインの query と skill を既存メモリ空間に整合 - 目的: パラメータチューニングに依存せず、新タスク・新ドメインへの適応を効率化し、破滅的忘却を軽減

2. 先行研究と比べてどこがすごい?

- 先行研究: パラメータチューニングに依存する VLA 適応手法 - 課題: 計算コスト大、破滅的忘却のリスク - 提案手法の優位性: - パラメータ更新を限定しつつ、メモリベースでスキルを再利用・拡張 - データ効率の良いスキル学習を実現 - 破滅的忘却を緩和 - 具体的な比較対象や定量的優位性は要旨からは不明

3. 技術・手法の肝は?

- 中核: メモリ中心の適応 - Inline Memory Interface: VLA prefix stream に学習可能なメモリトークンを挿入し、バックボーンが制御認識クエリとスキル表現をネイティブな action-conditioning pathway 内で導出 - Query-Skill Memory Bank: スキルを query prototypes(何を検索するか)と skill values(どのように行動するか)に外部化 - Bridge-and-Adapt: 軽量アダプタと残差メモリ更新により、ターゲットドメインの query と skill を既存メモリ空間に整列 - 特徴: 限られたパラメータ更新でスキル再利用と拡張をサポート

4. どうやって有効だと検証した?

- 実験設定: - in-domain adaptation - cross-domain adaptation - lifelong learning - 結果: - データ効率の良いスキル学習を実現 - 破滅的忘却を緩和 - 具体的な評価指標やベースラインとの比較数値は要旨からは不明

5. 議論はある?

- 議論点: - メモリベース適応の有効性と限界 - パラメータチューニングとのトレードオフ - スキル再利用・拡張の汎化性 - 要旨からは不明: 具体的な議論や限界、失敗事例、計算コストの詳細

6. 次に読むべき論文は?

- 関連研究: - Vision-Language-Action (VLA) モデル - パラメータチューニングに基づく適応手法 - メモリ拡張型モデル - 生涯学習 (lifelong learning) 手法 - 要旨で特定の論文は参照されていないため、同分野の定番として上記を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zaijing Li, Rui Shao, Bing Hu, Haoyu Zhang, Dongmei Jiang, Liqiang Nie

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong promise for general-purpose robotic manipulation, yet adapting them to new tasks and domains remains inefficient: existing methods often rely on parameter tuning, incurring substantial costs and risking catastrophic forgetting of previously learned tasks. To address this, we propose \textbf{Optimus-R}, a memory-centric VLA framework that formulates robotic adaptation as explicit query-skill memory tuning. Optimus-R introduces: (i) An \textbf{Inline Memory Interface for skill extraction}. It inserts learnable memory tokens into the VLA prefix stream, allowing the backbone to derive control-aware query and skill representations within the native action-conditioning pathway. (ii) A \textbf{Query-Skill Memory Bank for skill learning}. It externalizes skills into query prototypes for deciding \emph{what} to retrieve and skill values for specifying \emph{how} to act, supporting skill reuse and expansion with limited parameter updates. (iii) A lightweight \textbf{Bridge-and-Adapt mechanism for skill updating}. It aligns target-domain queries and skills with the existing memory space through a lightweight adapter and residual memory updates. Experiments on in-domain adaptation, cross-domain adaptation, and lifelong learning show that Optimus-R enables data-efficient skill learning while mitigating catastrophic forgetting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI