日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA量子化arXiv:2602.13710

HBVLA: 視覚-言語-行動モデルへの1ビット訓練後量子化の限界突破

HBVLA: Pushing 1-Bit Post-Training Quantization for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルを1ビットに二値化する際、行動生成に重要な重みをヘッセ行列で特定し、ハール領域でのグループ単位量子化を行うことで、精度劣化を抑えつつ省メモリ化を実現した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを1-bitに量子化する HBVLA を提案。 - 大規模計算・メモリを削減し、ロボットやエッジでの展開を可能にする。 - 二値化による量子化誤差の蓄積を抑え、長期的な閉ループ実行での性能劣化を防ぐ。

2. 先行研究と比べてどこがすごい?

- 既存の二値化手法は二値化重みと全精度重みの分布ギャップを狭められず、量子化誤差が蓄積。 - HBVLA は VLA に特化し、行動生成に重要な重みを特定して量子化。 - LIBERO で OpenVLA-OFT の性能を92.2%保持、SimplerEnv で CogAct の93.6%保持し、SOTA二値化手法を大幅に上回る。

3. 技術・手法の肝は?

- policy-aware enhanced Hessian で行動生成に重要な重みを特定。 - 非重要重みに sparse orthogonal transform を適用し、低エントロピー中間状態を誘導。 - Harr 領域で重要・非重要重みを group-wise 1-bit 量子化。

4. どうやって有効だと検証した?

- LIBERO で OpenVLA-OFT を量子化し、全精度性能の92.2%を保持。 - SimplerEnv で CogAct を量子化し、93.6%を保持。 - 実世界評価スイートで検証し、全精度モデルと比べ成功率低下はわずか。

5. 議論はある?

- ハードウェア制約下での堅牢な展開可能性を示す。 - 超低ビット量子化の実用的基盤を提供。 - 具体的な限界や失敗事例、計算コストの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究: OpenVLA-OFT, CogAct, LIBERO, SimplerEnv。 - 関連手法: 1-bit post-training quantization, binarization, Hessian-based quantization。 - 同分野の定番: Vision-Language-Action models, quantization-aware training。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xin Yan, Zhenglin Wan, Feiyang Ye, Xingrui Yu, Hangyu Du, Yang You, Ivor Tsang

分類: cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models enable instruction-following embodied control, but their large compute and memory footprints hinder deployment on resource-constrained robots and edge platforms. While reducing weights to 1-bit precision through binarization can greatly improve efficiency, existing methods fail to narrow the distribution gap between binarized and full-precision weights, causing quantization errors to accumulate under long-horizon closed-loop execution and severely degrade actions. To fill this gap, we propose HBVLA, a VLA-tailored binarization framework. First, we use a policy-aware enhanced Hessian to identify weights that are truly critical for action generation. Then, we employ a sparse orthogonal transform for non-salient weights to induce a low-entropy intermediate state. Finally, we quantize both salient and non-salient weights in the Harr domain with group-wise 1-bit quantization. We have evaluated our approach on different VLAs: on LIBERO, quantized OpenVLA-OFT retains 92.2% of full-precision performance; on SimplerEnv, quantized CogAct retains 93.6%, significantly outperforming state-of-the-art binarization methods. We further validate our method on real-world evaluation suite and the results show that HBVLA incurs only marginal success-rate degradation compared to the full-precision model, demonstrating robust deployability under tight hardware constraints. Our work provides a practical foundation for ultra-low-bit quantization of VLAs, enabling more reliable deployment on hardware-limited robotic platforms.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI