日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.03449

HiMe: 長期的視覚言語行動制御のための階層的具現化メモリ

HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control

シェア:XThreadsFacebookLINEはてブBluesky

長期的なタスクで苦戦するVLAモデルに対し、実行・作業記憶・計画を分離した階層メモリフレームワークを提案し、成功率を向上させた。

詳しい要約

1. どんなもの?

- 長期的な記憶と推論を必要とする非マルコフ的タスクに苦戦するVLAモデルの問題を解決するため、HiMeという階層的具現化記憶フレームワークを提案。 - 高頻度のExecutor、作業記憶のSentry、長期戦略のPlannerに分離し、リアルタイム実行と遅い思考計画のバランスを取る。 - クロスモーダル意味スキーマに基づく動的知識システムを導入し、Add/Update/Delete操作で記憶可塑性を維持。

2. 先行研究と比べてどこがすごい?

- 既存のVLAモデルは即時観察に依存し、長期記憶と推論が困難。 - 既存解決策は「頻度-能力パラドックス」に直面:強力な推論モデルは遅く、高速モデルは推論能力不足。 - HiMeは階層設計でこのアーキテクチャの不一致を解消し、長期的タスクの成功率を大幅に向上。 - フラットメモリベースラインを上回り、人間の好みに基づく自己修正能力も示す。

3. 技術・手法の肝は?

- 階層的具現化記憶フレームワーク:高頻度Executor、作業記憶Sentry、長期戦略Plannerに分離。 - 動的知識システム:クロスモーダル意味スキーマとアクティブ管理メカニズムを基盤。 - 記憶可塑性をAdd/Update/Delete操作で実現。

4. どうやって有効だと検証した?

- 実験により、フラットメモリベースラインを上回る性能を確認。 - 長期的タスクの成功率が大幅に向上。 - 人間の好みに基づく内部知識の自己修正能力を新たに示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。同分野の定番として、Vision-Language-Action (VLA) モデル、ロボティックマニピュレーション、長期記憶・推論に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Li Ji, Siyin Wang, Pengfang Qian, Xiaopeng Yu, Yihai Tian, Zhaoye Fei, Jingjing Gong, Xipeng Qiu

分類: cs.RO, cs.AI

原文アブストラクト

Current Vision-Language-Action (VLA) models excel at robotic manipulation but often struggle with non-Markovian tasks requiring long-term memory and reasoning due to their reliance on immediate observations. Existing solutions face a ''frequency-competence paradox,'' where stronger reasoning models are too slow for real-time control, while faster models lack sufficient reasoning capabilities. To resolve this architectural misalignment, we propose HiMe, a Hierarchical Embodied Memory framework that decouples embodied intelligence into a high-frequency Executor for execution, a Sentry for working memory, and a Planner for long-term strategy. We also introduce a dynamic knowledge system based on cross-modal semantic schemas and active management mechanisms, allowing robots to maintain memory plasticity through ''Add, Update, and Delete'' operations. This hierarchical design effectively balances the conflict between real-time execution and slow thinking planning, significantly improving success rates in long-horizon tasks. Experiments demonstrate that this approach not only outperforms flat memory baselines but also exhibits the novel ability to self-correct its internal knowledge based on human preferences.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI