MemoryVLA++：視覚言語行動モデルにおける記憶と想像による時間的モデリング

- Vision-Language-Action (VLA) モデルに記憶と想像を導入した時系列モデリングフレームワーク MemoryVLA++ の提案。 - ロボット操作における長期・時間依存タスクの課題に対処。 - 認知科学の作業記憶、海馬系のエピソード記憶、内部モデルに着想。 - 事前学習済み VLM で現在の観測を perceptual/cognitive tokens に符号化し作業記憶を形成。 - Perceptual-Cognitive Memory Bank から履歴文脈を検索し、world model で将来状態を想像。 - 想像された latents を記憶誘導で統合し、diffusion action expert で時系列一貫した行動列を予測。

- 従来の多くの VLA モデルは現在の観測のみに依存し、長期・時間依存タスクが苦手。 - 本手法は記憶と想像を統合した完全な時系列モデリングを実現。 - 作業記憶、エピソード記憶、内部モデルを模倣した点が新しい。 - 5 つのシミュレーションベンチマークと 3 カテゴリの実機タスクで強い性能。 - 実機で一般タスク +9%、記憶依存タスク +26%、想像依存タスク +28% の向上。

- 事前学習済み VLM が現在の観測を perceptual/cognitive tokens に符号化。 - これらの tokens が Perceptual-Cognitive Memory Bank をクエリし履歴文脈を取得。 - Memory Bank は過去の低レベル詳細と高レベル意味を保存し、冗長性を考慮した統合で更新。 - world model が denoising latent space で将来状態を想像。 - 想像された latents を記憶誘導下で統合し、完全な時間認識 tokens を形成。 - これらの tokens が diffusion action expert を条件付け、時系列一貫した行動列を予測。

- 5 つのシミュレーションベンチマークと 3 カテゴリの実機タスク、3 種類のロボットで実験。 - 一般操作、長期時間タスク、ロバスト性、汎化をカバー。 - Libero, SimplerEnv, Mikasa-Robo, Calvin, Libero-Plus で強い性能。 - 実機で一般 +9%、記憶依存 +26%、想像依存 +28% の向上を確認。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、メモリバンクの更新頻度などは記述なし。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として VLA モデル、world model、diffusion policy、Perceptual-Cognitive Memory Bank が挙げられる。 - 同分野の定番として RT-1, RT-2, Octo, OpenVLA などが考えられるが、要旨に記載はない。