日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.33074

行動誘導型超低ビット量子化:VLAモデルのオンボード展開に向けて

AGQ: Action-Guided Ultra-Low-Bit Quantization for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの重みを、行動感度と復元コストを指標に行列ごとにビット幅配分して超低ビット量子化し、LIBEROで高成功率を保ちつつ大幅な圧縮を実現した研究。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルを対象とした ultra-low-bit quantization 手法「Action-Guided Quantization (AGQ)」の提案。 - ロボットのオンボード展開を想定し、メモリ制約下での weight footprint 削減を目的とする。 - タスク性能の維持と weight recovery cost の制御を両立させる。 - LIBERO ベンチマークで評価され、コードと実験結果が公開されている。

2. 先行研究と比べてどこがすごい?

- 既存の量子化手法 AWQ および GPTQ と比較して性能向上を報告。 - LIBERO において W3 で 92.7% の task success を達成し、AWQ を 1.2 ポイント、GPTQ を 3.7 ポイント上回る。 - W2.5 でも 70.5% の success を維持。 - 非対称構成 W1.5$^{*}$ では lossless coding 併用で BF16 比 6.10× の complete-model compression を実現しつつ 25.5% の task success を保持。

3. 技術・手法の肝は?

- action sensitivity と weight recovery cost の実測 proxy を組み合わせ、storage budget 下で行列ごとの bitwidth を割り当てる。 - per-channel calibration により量子化誤差を補償。 - 各行列内では uniform bitwidth を用いてレイアウトの規則性を保つ。 - bit-dependent grouped lossless coding により常駐 weight storage を削減。 - block-wise recovery により一時バッファを制限。 - 非対称構成 W1.5$^{*}$ では vision weights を W4、language weights をパラメータ重み付き平均 1.5 bits とする。

4. どうやって有効だと検証した?

- LIBERO ベンチマーク上で task success を指標に評価。 - W3 で 92.7%、W2.5 で 70.5%、W1.5$^{*}$ で 25.5% の task success を報告。 - AWQ および GPTQ との比較により優位性を検証。 - lossless coding 併用時の complete-model compression が BF16 比 6.10× であることを示す。

5. 議論はある?

- ultra-low-bit 化に伴う task performance の低下(特に W1.5$^{*}$ で 25.5% まで低下)が残課題として示唆される。 - weight recovery cost の制御と storage budget のトレードオフが議論の対象。 - 詳細な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- AWQ - GPTQ - LIBERO ベンチマークを用いた VLA モデル量子化の関連研究 - Vision-Language-Action (VLA) モデル全般の効率化研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuhong Qiu, Zhuoyu Wu, Qiawei Zheng, Wenhui Ou, Wenqi Fang, Raphaël C. -W. Phan

分類: cs.CV, cs.AI

原文アブストラクト

Vision-language-action (VLA) models enable robots to perform tasks specified through natural-language instructions, but their large weight footprint challenges deployment on memory-constrained onboard platforms. Ultra-low-bit quantization reduces this footprint, yet preserving task performance and controlling weight recovery costs remain challenging. We propose Action-Guided Quantization, which combines action sensitivity with a measured proxy for weight recovery cost to allocate matrix bitwidths under storage budgets. Per-channel calibration compensates for quantization error, while a uniform bitwidth within each matrix preserves regular layouts. Bit-dependent grouped lossless coding reduces resident weight storage, and block-wise recovery limits temporary buffers. On LIBERO, AGQ achieves 92.7% task success at W3, exceeding AWQ and GPTQ by 1.2 and 3.7 percentage points, respectively, and retains 70.5% success at W2.5. An asymmetric configuration, denoted W1.5$^{*}$, uses W4 vision weights and a parameter-weighted average of 1.5 bits for language weights. With lossless coding, it achieves $6.10\times$ complete-model compression relative to BF16 while retaining 25.5% task success. Code and experimental results are available at https://github.com/Qiuxu00/AGQ

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI