日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/量子化arXiv:2605.28803

HoloQ-VLA: 視覚言語行動モデルの一様W4A4量子化

HoloQ-VLA: Uniform W4A4 Quantization of Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルを、拡散アクションヘッドを含む全体を一様に4ビット量子化する訓練不要のフレームワークを提案し、性能を維持しつつメモリを大幅削減した。

詳しい要約

1. どんなもの?

Vision-Language-Action (VLA) モデルは知覚・推論・制御を単一ポリシーに統合するが、数十億パラメータのバックボーンと diffusion ベースの action head によりオンデバイス展開が高コスト。本研究 HoloQ-VLA は、language backbone と diffusion action head 全体を mixed-precision 割当なしで uniform W4A4 に圧縮する初の training-free PTQ フレームワーク。

2. 先行研究と比べてどこがすごい?

従来の低ビット PTQ では diffusion action head が外れ値に敏感で、full precision のままか mixed-precision に逃げる必要があった。HoloQ-VLA は mixed-precision 割当なしで language backbone と action head 全体を uniform W4A4 に圧縮できる点が新しい。

3. 技術・手法の肝は?

重み品質と活性品質のトレードオフを避けるため、2つの外れ値源に相補的変換を適用。weight-adapted rotation と activation-dispersing Hadamard transform を組み合わせ、さらに denoising step 間で action head が示す dynamic-range drift を吸収する per-step scaling を導入。

4. どうやって有効だと検証した?

LIBERO 上で Pi-0.5 と GR00T-N1.5 を W4A4 に圧縮し、タスク成功率 98.0% と 87.8% を達成。FP16 参照の 97.1% と 87.0% に匹敵または上回り、静的メモリフットプリントを 74.2% 削減。実世界マニピュレーション実験でも多様なシナリオで滑らかで正確な制御を維持。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている Pi-0.5、GR00T-N1.5、LIBERO に関連する研究や、VLA モデルの量子化・PTQ に関する論文を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

分類: cs.CV, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models unify perception, reasoning, and control in a single policy, but their multi-billion-parameter backbones and diffusion-based action heads make on-device deployment prohibitively expensive. Low-bit post-training quantization (PTQ) is the natural remedy, yet the diffusion action head that emits continuous control signals is highly sensitive to it: a few weight and activation outliers are enough to destabilize the head, so prior work leaves it at full precision or falls back to mixed-precision schemes, and uniformly quantizing the whole model to low bit-width remains an open challenge. We present HoloQ-VLA, the first training-free PTQ framework that compresses both the language backbone and the entire diffusion action head to uniform W4A4 precision without mixed-precision allocation. Instead of trading weight quality against activation quality, HoloQ-VLA targets the two outlier sources with complementary transforms: a weight-adapted rotation composed with an activation-dispersing Hadamard transform, together with per-step scaling that absorbs the dynamic-range drift exhibited by the action head across denoising steps. On LIBERO, HoloQ-VLA compresses Pi-0.5 and GR00T-N1.5 to W4A4 with 98.0% and 87.8% task success rates, matching or exceeding their FP16 references of 97.1% and 87.0%, while reducing the static memory footprint by 74.2%. Real-world manipulation experiments further demonstrate that HoloQ-VLA maintains smooth and accurate control across diverse real-world scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI