日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.09542

NS-VLA:神経記号型視覚言語行動モデル

NS-VLA: Towards Neuro-Symbolic Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚・言語特徴から記号的にプリミティブを抽出し、オンライン強化学習で行動系列を生成する神経記号型VLAフレームワークを提案。少データ・摂動環境で高精度かつゼロショット汎化を示す。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action (VLA) モデルの課題を解決するために、Neuro-Symbolic Vision-Language-Action (NS-VLA) フレームワークを提案している。 - NS-VLA は、online reinforcement learning (RL) を活用し、視覚と言語の特徴を埋め込み、構造化されたプリミティブを抽出する symbolic encoder を導入する。 - また、データ効率的な行動シーケンス生成のための symbolic solver を利用し、online RL による広範な探索を通じて生成を最適化する。 - ロボットマニピュレーションのベンチマークで評価され、one-shot 学習やデータ摂動設定で従来手法を上回る性能を示す。 - さらに、zero-shot 汎化性、高いデータ効率、拡張された探索空間を実現する。

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは、関連する再利用可能なプリミティブの学習、大規模データや複雑なアーキテクチャへの依存の低減、デモンストレーションを超えた探索の実現に課題があった。 - NS-VLA は、symbolic encoder と symbolic solver を組み合わせることで、これらの課題に対処し、one-shot 学習やデータ摂動設定で従来手法を上回る性能を達成する。 - また、zero-shot 汎化性、データ効率、探索空間の拡大において優位性を示す。

3. 技術・手法の肝は?

- NS-VLA の技術的核心は、symbolic encoder を用いて視覚と言語の特徴を埋め込み、構造化されたプリミティブを抽出することにある。 - さらに、symbolic solver を利用してデータ効率的な行動シーケンスを生成する。 - online reinforcement learning (RL) を活用し、広範な探索を通じて生成を最適化する。 - これにより、デモンストレーションを超えた探索が可能となり、データ効率と汎化性が向上する。

4. どうやって有効だと検証した?

- ロボットマニピュレーションのベンチマークを用いて評価を実施。 - one-shot 学習とデータ摂動設定の両方で、NS-VLA が従来手法を上回る性能を示すことを確認。 - また、zero-shot 汎化性、高いデータ効率、拡張された探索空間を実証。

5. 議論はある?

- 要旨からは、NS-VLA の限界や議論の詳細は明示されていない。 - ただし、提案手法が従来の課題を解決し、性能向上を達成したことが強調されている。 - 今後の課題や制約については、要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language-Action (VLA) モデル、Neuro-Symbolic アプローチ、online reinforcement learning (RL) が挙げられる。 - 同分野の定番として、ロボットマニピュレーションにおける VLA モデルや強化学習手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyue Zhu, Shangyang Wu, Shuai Zhao, Zhiqiu Zhao, Shengjie Li, Yi Wang, Fang Li, Haoran Luo

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models are formulated to ground instructions in visual context and generate action sequences for robotic manipulation. Despite recent progress, VLA models still face challenges in learning related and reusable primitives, reducing reliance on large-scale data and complex architectures, and enabling exploration beyond demonstrations. To address these challenges, we propose a novel Neuro-Symbolic Vision-Language-Action (NS-VLA) framework via online reinforcement learning (RL). It introduces a symbolic encoder to embedding vision and language features and extract structured primitives, utilizes a symbolic solver for data-efficient action sequencing, and leverages online RL to optimize generation via expansive exploration. Experiments on robotic manipulation benchmarks demonstrate that NS-VLA outperforms previous methods in both one-shot training and data-perturbed settings, while simultaneously exhibiting superior zero-shot generalizability, high data efficiency and expanded exploration space. Our code is available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI