日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/ロバスト性/メモリarXiv:2603.24060

RoboHarness:メモリ拡張型ポリシーハーネスによる視覚言語行動モデルの文脈内適応ロバスト性向上

RoboHarness: A Memory-Augmented Policy Harness for Vision-Language-Action Model Robustness via In-Context Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

凍結したVLAモデルを微調整なしでロバスト化するため、デュアルメモリRAGとマルチモーダルLLMによる帰属駆動オーケストレータ、MCP介入を備えたオンラインパイプラインと、オフラインのメモリ統合を提案し、平均成功率を56.6%向上させた。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) モデルを汎用ロボットコントローラとして用いる際の、out-of-distribution (OOD) タスクにおける知覚ノイズや環境変動に対するロバスト性の低さを解決するため、長期記憶・因果的失敗帰属・動的介入能力を欠くという根本的制約に対処する RoboHarness を提案する。RoboHarness は、凍結した VLA ポリシーをパラメータ微調整なしで強化し、in-context adaptation を可能にする memory-augmented policy harness である。オンラインパイプラインとして contrastive Dual-Memory Retrieval-Augmented Generation (RAG)、multimodal large language model による attribution-driven vision-language orchestrator、拡張可能な Model Context Protocol (MCP) interventions を備え、オフラ…

2. 先行研究と比べてどこがすごい?

先行研究と比べて、VLA モデルが長期記憶・因果的失敗帰属・動的介入能力を欠くために OOD タスクでロバスト性が限られる点を指摘し、凍結ポリシーを微調整せずに in-context adaptation で強化する点が新しい。具体的には、contrastive Dual-Memory RAG、attribution-driven vision-language orchestrator、MCP interventions、Memory Consolidation を組み合わせたハーネスを提案。実験では pi_0, pi_0.5, SmolVLA の3バックボーンで平均絶対成功率 +56.6%、長地平タスク連鎖で +89.1% を達成したと報告。

3. 技術・手法の肝は?

技術の肝は、オンラインで contrastive Dual-Memory Retrieval-Augmented Generation (RAG) を実行し、multimodal large language model を用いた attribution-driven vision-language orchestrator が失敗原因を帰属し、拡張可能な Model Context Protocol (MCP) interventions を動的に適用する点。さらにオフラインの Memory Consolidation モジュールが実行トレースを継続的に蒸留し、信頼できる prior を形成する。これにより凍結 VLA ポリシーのパラメータ微調整なしで in-context adaptation を実現する。

4. どうやって有効だと検証した?

LIBERO-PRO および提案ベンチマーク LIBERO-RoboHarness 上で、3つのバックボーンモデル (pi_0, pi_0.5, SmolVLA) を用いた実験評価を実施。その結果、平均絶対成功率 +56.6%、長地平タスク連鎖で +89.1% の絶対改善を達成したと報告している。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として、pi_0, pi_0.5, SmolVLA などの VLA モデル、LIBERO-PRO ベンチマーク、Retrieval-Augmented Generation (RAG)、Model Context Protocol (MCP) が挙げられる。関連手法として memory-augmented policy、in-context adaptation、multimodal large language model を用いた orchestrator などが次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuoran Li, Zhiyang Li, Kaijun Zhou, Jinyu Gu

分類: cs.RO

原文アブストラクト

Despite the promise of Vision-Language-Action (VLA) models as generalist robotic controllers, their robustness against perceptual noise and environmental variations in out-of-distribution (OOD) tasks remains fundamentally limited by the absence of long-term memory, causal failure attribution, and dynamic intervention capability. To address this, we propose RoboHarness, a memory-augmented policy harness that upgrades frozen VLA policies for robust in-context adaptation without parameter fine-tuning. Specifically, RoboHarness operates through an online pipeline of contrastive Dual-Memory Retrieval-Augmented Generation (RAG), an attribution-driven vision-language orchestrator implemented with a multimodal large language model, and extensible Model Context Protocol (MCP) interventions, while an offline Memory Consolidation module continuously distills the execution traces into reliable priors. Experimental evaluations across three backbone models ($\pi_0$, $\pi_{0.5}$, and SmolVLA) on LIBERO-PRO and our proposed LIBERO-RoboHarness benchmarks demonstrate that RoboHarness achieves an average absolute success rate gain of 56.6%. This includes a significant absolute improvement of 89.1% in long-horizon task chaining. The project page and source code are available at https://github.com/LZY-1021/RoboHarness.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI