日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.04765

長期的計画のための明示的言語メモリを備えた視覚言語行動モデル

Explicit Language Memory for Long-Horizon Planning in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

長期的なタスクにおけるVLAモデルの課題を解決するため、高レベルVLMと低レベルVLAを分離し、明示的な言語メモリモジュールを導入して時間的一貫性とエラー修正を実現する階層的アーキテクチャを提案した。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA)モデルによる長期的なロボットタスクの計画と実行を改善するために、明示的な言語メモリモジュールを備えた階層的アーキテクチャを提案している。高レベルのVLMが視覚質問応答トレーニングを通じて意味的推論を行い、低レベルのVLAがサブタスク命令と視覚観測に基づいて連続制御を実行する。高レベルVLMは、前のメモリを文脈アンカーとして言語メモリとサブタスク命令を再帰的に更新し、長期的な時間的追跡と動的修正を可能にする。

2. 先行研究と比べてどこがすごい?

既存のVLAモデルは、長期的タスクにおいて、まばらな専門家デモによるクロスタスクの汎化不足、非マルコフ性による時間的一貫性の欠如、閉ループ誤差修正の限界、エンドツーエンドのアクション微調整によるVLMの高レベル意味表現の弱体化などの課題がある。本手法は、明示的な言語メモリを導入し、高レベルと低レベルの分離により、これらの問題に対処する点が新しい。

3. 技術・手法の肝は?

手法の核心は、離散的な時間的観測を時間的論理を持つ一貫したテキストメモリシーケンスに変換することである。システムは高レベルVLMと低レベルVLAに分離され、高レベルVLMは視覚質問応答トレーニングパラダイムで意味推論を行い、低レベルVLAはサブタスク命令と視覚観測に基づいて正確な連続制御を実行する。高レベルVLMは前のメモリを文脈アンカーとして言語メモリとサブタスク命令を再帰的に更新する。

4. どうやって有効だと検証した?

複数のシミュレーション環境と実ロボットプラットフォームでのsim-to-real実験を実施し、明示的な言語メモリが複雑な長期的タスクにおけるVLAモデルの成功率と堅牢性を向上させ、解釈可能な意味的説明を提供することを示した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。また、実世界での一般化や計算コスト、メモリの長さの影響などについての詳細な議論は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、VLAモデル、Vision-Language Model (VLM)、Long-Horizon Planning、Hierarchical Reinforcement Learning、Visual Question Answeringなどの分野の定番論文が関連する。具体的には、RT-2やPaLM-EなどのVLAモデル、LLMベースのプランナー、階層的強化学習の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Houze Xu, Jizhong Li, Ziyi Ye

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-language-action (VLA) models provide a unified paradigm for connecting visual perception, language understanding, and robotic control. However, existing VLA models still face major challenges in long-horizon tasks: sparse expert demonstrations constrain cross-task compositional generalization; the non-Markovian nature of long-horizon tasks makes it difficult for policies conditioned only on current observations to maintain temporal consistency; limited closed-loop error correction allows execution errors to accumulate; and end-to-end action fine-tuning may weaken the high-level semantic representations of vision-language model (VLM) backbones. To address these issues, we propose a hierarchical long-horizon VLA architecture with an explicit language-memory module. The central idea is to convert discrete temporal observations into a coherent textual memory sequence with temporal logic. The system is decoupled into a high-level VLM and a low-level VLA: the high-level VLM performs semantic reasoning through a visual question answering training paradigm, while the low-level VLA executes precise continuous control conditioned on subtask instructions and visual observations. The high-level VLM recursively updates both language memory and subtask instructions using the previous memory as a contextual anchor, enabling persistent temporal tracking and dynamic correction during long-horizon execution. We evaluate the proposed method in multiple simulation environments and conduct sim-to-real experiments on a real robotic platform. The results demonstrate that explicit language memory improves the success rate and robustness of VLA models on complex long-horizon tasks while providing an interpretable semantic account of the decision process.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI