日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.17933

AtlasVA: 教師なしVLMエージェントのための自己進化型視覚スキルメモリ

AtlasVA: Self-Evolving Visual Skill Memory for Teacher-Free VLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

VLMエージェントの経験を視覚的に保持する自己進化型メモリフレームワークを提案。空間ヒートマップ、視覚例、テキストスキルの3層で構成し、教師なしで危険・親和性アトラスを進化させて強化学習の報酬として利用する。

詳しい要約

1. どんなもの?

- VLMエージェントのための教師なし視覚スキルメモリフレームワークAtlasVAを提案。 - メモリを空間ヒートマップ、視覚例示、記号的テキストスキルの3層で組織化。 - 危険度と親和性のアトラスを軌道統計と軽量グリッドヒューリスティクスから自己進化させ、強化学習のポテンシャルベースシェーピング報酬として再利用。 - 外部LLM監督なしで知覚・記憶・最適化を統合。

2. 先行研究と比べてどこがすごい?

- 既存のメモリ拡張強化学習はメモリをテキストで保存し、専有教師モデルに依存。 - 空間的意思決定には不向きで、幾何学的事前知識が損失のある言語に圧縮され、疎な相互作用が遅延テキストフィードバックで監督される。 - AtlasVAは視覚的に根拠づけられたメモリを自己進化させ、教師なしで空間タスクに強い。

3. 技術・手法の肝は?

- メモリを空間ヒートマップ、視覚例示、記号的テキストスキルの3層で構成。 - 危険度と親和性のアトラスを軌道統計と軽量グリッドヒューリスティクスから直接進化。 - 自己進化するアトラスをポテンシャルベースシェーピング報酬として強化学習に再利用。 - 知覚・記憶・最適化を統合し、外部LLM監督を不要に。

4. どうやって有効だと検証した?

- Sokoban、FrozenLake、3D embodied navigation、3D robotic manipulationのベンチマークで実験。 - テキスト中心のメモリベースラインや競合VLMエージェントを一貫して上回る。 - 特に空間的に集中したタスクで強い改善を示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:テキスト中心のメモリベースライン、競合VLMエージェント。 - 関連手法:memory-augmented reinforcement learning、teacher models、potential-based shaping rewards。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pan Wang, Yihao Hu, Xiujin Liu, Jingchu Yang, Hang Wang, Zhihao Wen

分類: cs.CV

原文アブストラクト

Vision-language model (VLM) agents increasingly rely on memory-augmented reinforcement learning to reuse experience across long-horizon tasks, yet most existing frameworks store memory as text and depend on proprietary teacher models to summarize or refine it. This design is poorly matched to spatial decision making: geometric priors are compressed into lossy language, and sparse interaction is often supervised through delayed textual feedback rather than dense visually grounded signals. We argue that reusable experience for VLM agents should remain visually grounded. Based on this insight, we propose \textbf{AtlasVA}, a teacher-free visual skill memory framework that organizes memory into three complementary layers: spatial heatmaps, visual exemplars, and symbolic text skills. AtlasVA further evolves danger and affinity atlases directly from trajectory statistics and lightweight grid heuristics, and reuses these self-evolving atlases as potential-based shaping rewards for reinforcement learning. This unifies perception, memory, and optimization without external LLM supervision. Experiments on \textsc{Sokoban}, \textsc{FrozenLake}, 3D embodied navigation, and 3D robotic manipulation benchmarks show that AtlasVA consistently outperforms text-centric memory baselines and competitive VLM agents, with especially strong gains on spatially intensive tasks. Homepage: https://wangpan-ustc.github.io/AtlasvaWeb

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI