日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

量子化arXiv:2609.39056

SteerQuant: 行動誘導スケーリングによるWorld-Actionモデルの量子化誤差制御

SteerQuant: Steering Quantization Error with Action-Guided Scaling in World-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

World-Actionモデル向けの4bit量子化フレームワークで、各ストリームの量子化誤差が最終行動に与える影響を考慮してスケーリングを調整し、精度を保ちつつ推論を高速化する。

詳しい要約

1. どんなもの?

- World-Action Models (WAMs) の推論を4-bit量子化するフレームワーク SteerQuant を提案。 - 映像・固有感覚・行動トークンの異種ストリームを共有重みで処理するWAMsにおいて、量子化誤差が最終行動に与える影響を考慮。 - 誤差を最終行動への影響が小さい計算に誘導する。 - アクション誘導型スケーリングとRudder推論エンジンを含む。

2. 先行研究と比べてどこがすごい?

- 従来の量子化は数値精度のみを基準とし、ストリームごとの行動への影響差を無視。 - SteerQuantは各ストリームの量子化誤差が最終行動に与える影響をマッピングし、共有チャネルスケーリングを誘導。 - 重みを複製せず、特定ストリームのビット幅を増やさずに適応。 - アクティベーションスケーリングをストリームとデノイジングステップごとにキャリブレーション。

3. 技術・手法の肝は?

- 各ストリームの量子化誤差が最終行動に与える影響をマッピングし、そのマップで共有チャネルスケーリングをガイド。 - アクティベーションスケーリングを各ストリームとデノイジングステップごとにキャリブレーションし、アクティベーション範囲と行動影響の変化に対応。 - Rudder: スケーリングと出力補償を低ビットカーネルに融合し、カーネル起動とメモリトラフィックを削減する4-bit推論エンジン。

4. どうやって有効だと検証した?

- W4A8およびW4A4で、3つのWAMsにおいてLIBERO成功率がフル精度の0.8パーセントポイント以内を維持。 - BF16比で最大2.23倍のデノイジング高速化、ピークGPUメモリ使用量削減。 - 実機のdual-arm robotでW4A8展開がエンドツーエンド推論を1.35倍高速化し、平均タスク成功率をBF16と同等に維持。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、WAMs (World-Action Models)、LIBERO、BF16、W4A8、W4A4、Rudderが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunhan Wang, Haodong Wang, Zhiming Liu, Zicong Hong, Qianli Liu, Xiaoyi Pang, Yangjia Hu, Quanxin Shou, Yikun Miao, Song Guo

分類: cs.RO

原文アブストラクト

World-action models (WAMs) jointly generate future world states and actions through iterative denoising, using shared weights to process heterogeneous semantic streams of video, proprioceptive, and action tokens. Quantization reduces inference cost, but comparable numerical errors in different streams can have markedly different effects on final actions, making numerical accuracy alone insufficient for reliable control. We introduce SteerQuant, a 4-bit quantization framework for WAMs that steers errors toward computations with less influence on final actions. It maps how each stream's quantization errors affect final actions and uses this map to guide shared channel scaling. Activation scaling is further calibrated for each stream and denoising step to accommodate changes in activation ranges and action impact. This adapts quantization to different stream requirements without duplicating weights or increasing bit-widths for selected streams. To reduce the extra kernel launches and memory traffic introduced by scaling, we develop Rudder, a 4-bit inference engine for WAMs that fuses scaling and output compensation into low-bit kernels. Under W4A8 and W4A4, SteerQuant maintains mean LIBERO success within 0.8 percentage points of full precision, while delivering up to $2.23\times$ denoising speedup over BF16 across three WAMs with reduced peak GPU memory usage. On a real dual-arm robot, W4A8 deployment achieves a $1.35\times$ end-to-end inference speedup while maintaining average task success relative to BF16.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI