日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.06932

LLaDA-VLA:視覚言語拡散アクションモデル

LLaDA-VLA: Vision Language Diffusion Action Models

シェア:XThreadsFacebookLINEはてブBluesky

拡散ベースの視覚言語モデルをロボットマニピュレーションに適応させた初のVLAモデルを提案し、特殊トークン分類と階層的アクション復号により従来手法を上回る性能を実現した。

詳しい要約

1. どんなもの?

- ロボット操作のための Vision-Language-Diffusion-Action モデル「LLaDA-VLA」 - pretrained な diffusion-based VLM (d-VLM) を基盤に構築 - 著者らは d-VLM をロボット政策学習に用いる初の試みと位置づけ - 対象はロボットマニピュレーション - シミュレーションと実機ロボットの両方で評価 - 自動回帰型 VLM/VLA とは異なる masked diffusion パラダイムに立脚

2. 先行研究と比べてどこがすごい?

- 先行の VLA は主に auto-regressive VLM を基盤としている - 一方 d-VLM は text generation や multimodal で競争力を示しつつ、ロボット政策学習への活用は未開拓だった - 本研究は d-VLM を VLA に拡張する初の試み - 単なる流用ではなく、ロボット領域適応のための2つの設計を導入 - 実験では state-of-the-art の VLA をシミュレーション・実機の双方で大きく上回ると報告

3. 技術・手法の肝は?

- pretrained d-VLM を基盤とした Vision-Language-Diffusion-Action 構成 - 設計1: localized special-token classification - 全語彙分類を special action token の分類に置き換え、適応難度を低減 - 設計2: hierarchical action-structured decoding - 行動列を階層的にデコード - 行動内および行動間の依存関係を考慮 - 上記2設計が d-VLM のロボット領域適応の肝

4. どうやって有効だと検証した?

- シミュレーションおよび実世界ロボットでの広範な実験を実施 - state-of-the-art の VLA との比較で LLaDA-VLA が有意に優れると報告 - 具体的なタスク・ベンチマーク名・指標・被験者数などは要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界、失敗事例、計算コスト、推論速度、汎化性に関する議論は記述なし - 明示されているのは d-VLM のロボット政策学習への有効性主張と性能比較のみ

6. 次に読むべき論文は?

- 基盤となる diffusion-based VLM (d-VLM) および masked diffusion model の関連研究 - 比較対象である state-of-the-art の auto-regressive VLA(具体名は要旨からは不明) - 関連する masked diffusion 系の text generation / multimodal 研究 - 同分野の定番として OpenVLA や RT-2 など auto-regressive VLA の代表的研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuqing Wen, Hebei Li, Kefan Gu, Yucheng Zhao, Tiancai Wang, Xiaoyan Sun

分類: cs.RO, cs.CV

原文アブストラクト

The rapid progress of auto-regressive vision-language models (VLMs) has inspired growing interest in vision-language-action models (VLA) for robotic manipulation. Recently, masked diffusion models, a paradigm distinct from autoregressive models, have begun to demonstrate competitive performance in text generation and multimodal applications, leading to the development of a series of diffusion-based VLMs (d-VLMs). However, leveraging such models for robot policy learning remains largely unexplored. In this work, we present LLaDA-VLA, the first Vision-Language-Diffusion-Action model built upon pretrained d-VLMs for robotic manipulation. To effectively adapt d-VLMs to robotic domain, we introduce two key designs: (1) a localized special-token classification strategy that replaces full-vocabulary classification with special action token classification, reducing adaptation difficulty; (2) a hierarchical action-structured decoding strategy that decodes action sequences hierarchically considering the dependencies within and across actions. Extensive experiments demonstrate that LLaDA-VLA significantly outperforms state-of-the-art VLAs on both simulation and real-world robots.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI