日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.10518

SemanticVLA: 効率的なロボット操作のための意味論的整合スパース化と強化

SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの知覚冗長性と指示-視覚の浅い整合を解決するため、意味論に基づく視覚プルーニングと階層的融合、行動結合を導入し、LIBEROでOpenVLAを21.1%上回る性能と効率を実現した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルによるロボットマニピュレーションの新フレームワーク SemanticVLA を提案 - 知覚の冗長性と instruction-vision の浅いアラインメントという2つの課題に対処 - Semantic-Aligned Sparsification と Enhancement により効率的な操作を実現 - コードは https://github.com/JiuTian-VL/SemanticVLA で公開

2. 先行研究と比べてどこがすごい?

- 従来 VLA は無関係な視覚入力も非効率に処理し、instruction と視覚の意味的接地が浅い - SemanticVLA は意味誘導で知覚を sparsify しつつアラインメントを保持 - LIBERO benchmark で OpenVLA を success rate で 21.1% 上回る - 訓練コスト 3.0-fold、推論 latency 2.7-fold 削減を達成し SOTA

3. 技術・手法の肝は?

- Semantic-guided Dual Visual Pruner (SD-Pruner) - Instruction-driven Pruner (ID-Pruner): SigLIP で global action cues と local semantic anchors を抽出 - Spatial-aggregation Pruner (SA-Pruner): DINOv2 で geometry-rich 特徴を task-adaptive tokens に圧縮 - Semantic-complementary Hierarchical Fuser (SH-Fuser): SigLIP と DINOv2 の dense patches と sparse tokens を融合 - Semantic-conditioned Action Coupler (SA-Coupler): 従来の observation-to-DoF を置換し意味条件付きで行動を生成

4. どうやって有効だと検証した?

- simulation と real-world の両タスクで広範な実験を実施 - LIBERO benchmark で OpenVLA 比 success rate +21.1% - 訓練コスト 3.0-fold 削減、推論 latency 2.7-fold 削減を報告 - 性能と効率の両面で新 SOTA を達成したと主張

5. 議論はある?

- 要旨からは不明(限界や失敗事例、ablation の詳細な議論は記述なし) - 実世界タスクの具体的条件や汎化性の議論も要旨からは不明

6. 次に読むべき論文は?

- OpenVLA(比較対象の代表 VLA) - LIBERO benchmark(評価基盤) - SigLIP および DINOv2(視覚エンコーダ) - 関連する VLA 研究として RT-2 や Octo などの定番手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Li, Renshan Zhang, Rui Shao, Zhijian Fang, Kaiwen Zhou, Zhuotao Tian, Liqiang Nie

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have advanced in robotic manipulation, yet practical deployment remains hindered by two key limitations: 1) perceptual redundancy, where irrelevant visual inputs are processed inefficiently, and 2) superficial instruction-vision alignment, which hampers semantic grounding of actions. In this paper, we propose SemanticVLA, a novel VLA framework that performs Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation. Specifically: 1) To sparsify redundant perception while preserving semantic alignment, Semantic-guided Dual Visual Pruner (SD-Pruner) performs: Instruction-driven Pruner (ID-Pruner) extracts global action cues and local semantic anchors in SigLIP; Spatial-aggregation Pruner (SA-Pruner) compacts geometry-rich features into task-adaptive tokens in DINOv2. 2) To exploit sparsified features and integrate semantics with spatial geometry, Semantic-complementary Hierarchical Fuser (SH-Fuser) fuses dense patches and sparse tokens across SigLIP and DINOv2 for coherent representation. 3) To enhance the transformation from perception to action, Semantic-conditioned Action Coupler (SA-Coupler) replaces the conventional observation-to-DoF approach, yielding more efficient and interpretable behavior modeling for manipulation tasks. Extensive experiments on simulation and real-world tasks show that SemanticVLA sets a new SOTA in both performance and efficiency. SemanticVLA surpasses OpenVLA on LIBERO benchmark by 21.1% in success rate, while reducing training cost and inference latency by 3.0-fold and 2.7-fold.SemanticVLA is open-sourced and publicly available at https://github.com/JiuTian-VL/SemanticVLA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI