日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.07530

BitVLA: ロボットマニピュレーションのための1ビット視覚言語行動モデル

BitVLA: 1-bit Vision-Language-Action Models for Robotics Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

全てのパラメータを3値{-1,0,1}に量子化した1ビットVLAモデルを提案し、メモリを11倍削減しつつ全精度ベースラインと同等のマニピュレーション性能を実現した。

詳しい要約

1. どんなもの?

- ロボット操作のための fully native 1-bit VLA model「BitVLA」を提案 - 全パラメータを ternary({-1,0,1})で表現する 1-bit VLA - 公開 1-bit LLM「BitNet b1.58 2B4T」を基盤に構築 - 視覚バックボーンも 1.58-bit 重みへ圧縮 - edge device 展開を志向し、post-hoc compression ではなくモデル設計・最適化で効率化 - コードとモデル重みを公開

2. 先行研究と比べてどこがすごい?

- 従来は massive な VLA を post-hoc compression で圧縮する傾向 - 本研究は deployment-oriented に training 段階から効率化を設計 - 1-bit pretraining の compactness を継承しつつ強いタスク性能を保持 - full-precision の OpenVLA-OFT baseline と同等性能を達成 - モデルメモリ 11.0x 削減、end-to-end latency 4.4x 削減 - メモリ制約のある edge robotic platform での競争力ある操作能力を示唆

3. 技術・手法の肝は?

- 全パラメータ ternary({-1,0,1})の fully native 1-bit VLA - 基盤は公開 1-bit LLM「BitNet b1.58 2B4T」 - これを vision-language-action policy として学習 - 視覚バックボーン圧縮に「Quantize-then-Distill」を導入 - post-training quantization-aware training 戦略 - full-precision vision encoder を 1.58-bit 重みへ圧縮 - 学習中に full-precision teacher が representation alignment を指導

4. どうやって有効だと検証した?

- simulation benchmarks と real-world tasks の両方で評価 - full-precision の OpenVLA-OFT baseline と性能比較 - BitVLA が baseline と同等の性能を達成 - モデルメモリ 11.0x 削減を確認 - end-to-end latency 4.4x 削減を確認 - 詳細なベンチマーク名やタスク数は要旨からは不明

5. 議論はある?

- training-time efficiency-accuracy co-design の実践的経路を示唆 - メモリ制約のある edge robotic platform での展開可能性を議論 - 1-bit 化による性能維持と効率化の両立を主張 - 具体的な限界、失敗事例、ablation の詳細は要旨からは不明 - real-world タスクの規模や多様性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- BitNet b1.58 2B4T(基盤 1-bit LLM) - OpenVLA-OFT(比較対象の full-precision baseline) - Quantize-then-Distill(本研究の視覚圧縮手法) - 関連する VLA 研究として OpenVLA 系 - 1-bit / ternary LLM の代表として BitNet 系

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyu Wang, Chuyan Xiong, Ruiping Wang, Xilin Chen

分類: cs.RO, cs.CV

原文アブストラクト

Deploying powerful Vision-Language-Action (VLA) models on edge devices is limited by their massive size. In this paper, we take a deployment-oriented view of VLA training: we target efficiency through model design and optimization, rather than relying solely on post-hoc compression. Thus, we propose BitVLA, a fully native 1-bit VLA model for robotic manipulation, where every parameters is ternary, i.e., {-1,0,1}. BitVLA is built on the publicly available 1-bit LLM BitNet b1.58 2B4T, and is trained as a vision-language-action policy that inherits the compactness of 1-bit pretraining while retaining strong task performance. To further reduce the memory footprint of the vision backbone, we introduce Quantize-then-Distill, a post-training quantization-aware training strategy that compresses a full-precision vision encoder to 1.58-bit weights, while a full-precision teacher guides representation alignment during training. Across simulation benchmarks and real-world tasks, BitVLA matches the performance of the full-precision OpenVLA-OFT baseline, while reducing model memory by 11.0x and end-to-end latency by 4.4x. These results suggest a practical path toward training-time efficiency-accuracy co-design for embodied policies, enabling competitive manipulation capability on memory-constrained edge robotic platforms. We release the code in https://github.com/ustcwhy/BitVLA, model weights in https://huggingface.co/lxsy/bitvla-bf16.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI