日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.15675

量子化条件付き強化学習による視覚言語行動ポリシーの低ビット故障回復

Recovering Low-Bit Failures in Vision-Language-Action Policies via Quantization-Conditioned Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーの量子化で生じる性能低下を、進捗に基づくオフライン強化学習で回復させる手法QCRLを提案し、実機実験で有効性を示した。

詳しい要約

1. どんなもの?

量子化された vision-language-action (VLA) ポリシーの性能劣化を回復する手法。5つの VLA モデルと 4,050 回の実世界試行で、quantization-aware training (QAT) が post-training quantization (PTQ) より一般に優れるが、long-horizon タスクや視覚・意味的シフト下で full precision (FP) との大きなギャップが残ることを示す。模倣ベースの目的関数は rollout 成功や部分完了を明示的に使わないため、これらの outcome 信号を活用する Quantization-Conditioned Reinforcement Learning (QCRL) を提案。offline RL 手法で、progress-based advantage estimation と quantization-aware source conditioning を組み合わせる。

2. 先行研究と比べてどこがすごい?

先行研究の QAT は PTQ より改善するが FP とのギャップが残り、模倣目的では rollout 成功や部分完了を直接使わない。QCRL は FP rollouts を action-level distillation を超える参照経験として供給し、progress-scaled terminal penalty で部分完了を区別し、quantization-aware conditioning で量子化ポリシー内の有利な参照行動を選択する。これにより、in-distribution データのみで FP の平均スコアの 99.3%(INT4 W4A16, π0.5)や 100.7%(NVFP4 W4A4, π0.5)を達成し、モデルメモリ削減や速度向上も実現。

3. 技術・手法の肝は?

QCRL は offline RL 手法。progress-based advantage estimation と quantization-aware source conditioning を結合。FP rollouts から参照経験を供給し、progress-scaled terminal penalty で部分完了を区別。quantization-aware conditioning により量子化ポリシー内で有利な参照行動を選択。評価は weight-only INT4 W4A16 を π0.5 と GR00T N1.5 に、joint weight-activation NVFP4 W4A4 を π0.5 に適用。

4. どうやって有効だと検証した?

5つの VLA モデルと 4,050 回の実世界試行で系統的に検証。π0.5 の INT4 W4A16 では、3つの視覚シフト条件下で FP の平均スコアの 99.3% を達成し、モデルメモリ 42.9% 削減。NVFP4 W4A4 では同じ FP ベースラインの 100.7% を達成し、NVFP4/FP8 デプロイで 1.73 倍の速度向上。ハードウェア利得は Jetson Thor 上の FP16 に対する相対値。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法: quantization-aware training (QAT), post-training quantization (PTQ), full precision (FP), offline RL, π0.5, GR00T N1.5, INT4 W4A16, NVFP4 W4A4, Jetson Thor。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seongmin Park, Jaewon Lee, Yujun Heo, Yoonsik Kim, Seheon Choi, Hyoung-rock Kim, Jungwook Choi

分類: cs.RO, cs.CV

原文アブストラクト

Quantization lowers deployment costs of vision-language-action (VLA) policies but can compromise task completion. Across five VLA models and 4,050 real-world trials, we systematically reveal that quantization-aware training (QAT) generally improves on post-training quantization (PTQ) but leaves substantial gaps to full precision (FP) on long-horizon tasks and under visual and semantic shifts, while its imitation-based objective does not explicitly use rollout success or partial completion. To exploit these outcome signals, we introduce Quantization-Conditioned Reinforcement Learning (QCRL), an offline RL method coupling progress-based advantage estimation with quantization-aware source conditioning. FP rollouts supply reference experience beyond action-level distillation, progress-scaled terminal penalty distinguishes partial completion, and quantization-aware conditioning selects advantageous reference behavior within the quantized policy. We evaluate weight-only INT4 W4A16 on $π_{0.5}$ and GR00T N1.5 and joint weight-activation NVFP4 W4A4 on $π_{0.5}$. Using only in-distribution data, QCRL reaches 99.3% of FP's mean score across three visual-shift conditions for $π_{0.5}$ with INT4 W4A16, alongside 42.9% model-memory savings. With NVFP4 W4A4, it reaches 100.7% of the same FP baseline, alongside a $1.73\times$ speedup using NVFP4/FP8 deployment. Hardware gains are relative to FP16 on Jetson Thor.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI