日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.21496

視覚言語行動モデルにおける宣言的知識と手続き的知識の分離

Decoupling the Declarative from the Procedural in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの模倣学習において、物体の概念(宣言的知識)と操作方法(手続き的知識)を分離できないことが汎化の妨げとなっている。本論文では、情報の流れを再構成した新しいVLAモデルw²VLAを提案し、モジュール化により知識を分離してゼロショット転移を可能にする。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action (VLA) モデルにおける宣言的知識と手続き的知識の分離を目的とした新しいモデル w$^{2}$VLA を提案する。 - 従来の VLA は、VLM エンコーダからのマルチモーダルトークンを大規模な Transformer ベースの action expert に投入するが、本手法はロボット状態系列を視覚・空間・スキル情報で合成的かつ解釈可能に変調する。 - これにより、未知物体へのゼロショットスキル転移を実現する。

2. 先行研究と比べてどこがすごい?

- 先行研究では、数十億パラメータの VLM を大規模ロボットデータセットで事前学習し、少数のシナリオ固有デモで微調整するパラダイムが主流で、分布内では最先端の操作性能を達成するが、空間・意味・タスクのわずかな変化に対して脆い。 - 本手法は、モジュラーアプローチにより知識表現を分離し、堅牢な行動クローニングと、類似性の低い未知物体へのゼロショットスキル転移を可能にする点で優れている。

3. 技術・手法の肝は?

- w$^{2}$VLA は、VLM エンコーダからの全マルチモーダルトークンを大規模で不透明な Transformer ベースの action expert に供給する代わりに、ロボット状態系列を視覚・空間・スキル情報で合成的かつ解釈可能に変調する。 - これにより、宣言的(概念やエンティティの意味論)と手続き的(何かのやり方)知識を分離する情報フローを再構築する。

4. どうやって有効だと検証した?

- 要旨からは不明。ただし、未知物体へのゼロショットスキル転移能力と堅牢な行動クローニングが示されていると記述されている。

5. 議論はある?

- 要旨からは不明。ただし、現在のモデルが宣言的と手続き的知識を分離できないことが、新規物体へのゼロショットスキル転移の根本的なボトルネックであると議論している。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として Vision-Language Models (VLMs) の微調整による VLA モデル(例: RT-2, Octo, OpenVLA など)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikolaos Tsagkas, Andreas Sochopoulos, Chris Xiaoxuan Lu, Oisin Mac Aodha, Alexandros Kouris

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Deploying generalist robotic agents in the real world requires transferable skills. Specifically, a policy trained to clone a behavior from object-specific demonstrations must generalize beyond that object, otherwise data collection requirements become intractable. Recently, fine-tuning of pre-trained billion-parameter Vision-Language Models (VLMs), initially on large-scale robot datasets and then on fewer scenario-specific demonstrations, has emerged as the predominant paradigm for designing Vision-Language-Action (VLA) models. While these policies achieve state-of-the-art manipulation performance in-distribution, they remain brittle to minor spatial, semantic, and task variations. In this work, we address the inability of current models to decouple the declarative (i.e., concepts and entity semantics) from the procedural knowledge (i.e., how to do something) encoded in their parameters, which is a fundamental bottleneck for zero-shot skill transfer to novel objects. To address this, we propose w$^{2}$VLA, a new VLA model with restructured information flow. Rather than feeding all multimodal tokens from the VLM encoder into a large, opaque transformer-based action expert, our approach modulates the robot state sequence with visual, spatial, and skill information in a compositional and interpretable manner. Unlike popular, state-of-the-art VLAs, we show that our modular approach successfully decouples knowledge representations, enabling robust behavior cloning and unprecedented zero-shot skill transfer capabilities across dissimilar, unseen objects.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI