日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.21046

CogVLA: 指示駆動型ルーティングとスパース化による認知整合型視覚-言語-行動モデル

CogVLA: Cognition-Aligned Vision-Language-Action Model via Instruction-Driven Routing & Sparsification

シェア:XThreadsFacebookLINEはてブBluesky

人間のマルチモーダル協調に着想を得て、指示に応じて視覚トークンを選択・圧縮し、行動意図に基づき不要トークンを刈り込む3段階のVLAアーキテクチャを提案。学習コストと推論遅延を大幅に削減しつつ、LIBEROベンチマークで97.4%の成功率を達成した。

詳しい要約

1. どんなもの?

- CogVLAは、事前学習済みVision-Language Model (VLM) を基盤とするVision-Language-Action (VLA) モデルの計算効率と性能を両立させる枠組み。 - 人間のマルチモーダル協調に着想を得た3段階のprogressive architectureを採用。 - instruction-driven routingとsparsificationにより、効率と性能の改善を狙う。 - コードはhttps://github.com/JiuTian-VL/CogVLAで公開。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは事前学習済みVLM上での大規模なpost-trainingを必要とし、計算オーバーヘッドが大きくスケーラビリティやdeploymentを制限していた。 - CogVLAはOpenVLAと比較して訓練コストを2.5倍削減、推論latencyを2.8倍低減。 - LIBERO benchmarkで97.4%、実世界ロボットタスクで70.0%の成功率を達成しstate-of-the-art。

3. 技術・手法の肝は?

- 第1段階のEncoder-FiLM based Aggregation Routing (EFA-Routing) は、instruction情報をvision encoderに注入し、dual-stream visual tokensを選択的に集約・圧縮してinstruction-awareなlatent表現を形成。 - 第2段階のLLM-FiLM based Pruning Routing (LFP-Routing) は、action intentをlanguage modelに導入し、instructionと無関係なvisually grounded tokensをpruningしてtoken-level sparsityを実現。 - 第3段階のV-L-A Coupled Attention (CAtten) は、causal vision-language attentionとbidirectional action parallel decodingを組み合わせ、圧縮された知覚入力でも正確で一貫したaction生成を支援。

4. どうやって有効だと検証した?

- LIBERO benchmarkおよび実世界ロボットタスクで実験を実施。 - 成功率はそれぞれ97.4%と70.0%を達成。 - OpenVLAと比較して訓練コスト2.5倍削減、推論latency2.8倍低減を報告。

5. 議論はある?

- 要旨からは不明。 - ただし、圧縮された知覚入力下でのaction生成の正確性・一貫性をCAttenで担保する設計上の議論が想定される。

6. 次に読むべき論文は?

- OpenVLA(比較対象として明示) - LIBERO benchmark(評価に使用) - Vision-Language-Action (VLA) モデル全般 - Vision-Language Model (VLM) を基盤とするロボティクス手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Li, Renshan Zhang, Rui Shao, Jie He, Liqiang Nie

分類: cs.CV, cs.RO

原文アブストラクト

Recent Vision-Language-Action (VLA) models built on pre-trained Vision-Language Models (VLMs) require extensive post-training, resulting in high computational overhead that limits scalability and deployment.We propose CogVLA, a Cognition-Aligned Vision-Language-Action framework that leverages instruction-driven routing and sparsification to improve both efficiency and performance. CogVLA draws inspiration from human multimodal coordination and introduces a 3-stage progressive architecture. 1) Encoder-FiLM based Aggregation Routing (EFA-Routing) injects instruction information into the vision encoder to selectively aggregate and compress dual-stream visual tokens, forming a instruction-aware latent representation. 2) Building upon this compact visual encoding, LLM-FiLM based Pruning Routing (LFP-Routing) introduces action intent into the language model by pruning instruction-irrelevant visually grounded tokens, thereby achieving token-level sparsity. 3) To ensure that compressed perception inputs can still support accurate and coherent action generation, we introduce V-L-A Coupled Attention (CAtten), which combines causal vision-language attention with bidirectional action parallel decoding. Extensive experiments on the LIBERO benchmark and real-world robotic tasks demonstrate that CogVLA achieves state-of-the-art performance with success rates of 97.4% and 70.0%, respectively, while reducing training costs by 2.5-fold and decreasing inference latency by 2.8-fold compared to OpenVLA. CogVLA is open-sourced and publicly available at https://github.com/JiuTian-VL/CogVLA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI