日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.14153

エンコーダの勝者はVLAバックボーンの規模を超えて確実には転送されない:凍結バックボーン移植診断

Encoder Winners Do Not Reliably Transfer Across VLA Backbone Scale: A Frozen-Backbone Grafting Diagnostic

シェア:XThreadsFacebookLINEはてブBluesky

VLAポリシーにおいて、小規模バックボーンで最適な視覚エンコーダが大規模バックボーンでも最適とは限らないことを、凍結バックボーン移植診断法を用いて実証した。

詳しい要約

1. どんなもの?

VLAポリシーのvision encoder選択が、小規模backboneで検証されたものが大規模backboneへ転移するかを調べる研究。frozen-backbone grafting diagnosticを導入し、release済みVLAのvision towerを候補encoderに置換する。固定protocolはadaptive average pooling、LayerNorm、単一のtrainable linear projectorで、language modelとaction expertはfrozen。4 encoder、2 LIBERO suite、2 backbone(SmolVLA-450Mとπ0.5-3.3B)、各cell 2-3 seedで評価。

2. 先行研究と比べてどこがすごい?

従来はVLAが上流VLMのvision encoderを継承し、小規模VLAで検証されたencoder選択が大規模backboneに転移するか不明だった。本研究はfrozen graftingにより、小backboneの勝者が大backboneのtop tierを信頼性高く選ばないことを示す。SigLIPはSmolVLAで両suite最良だが、π0.5ではDINOv2-smallがspatial suiteをリードしobject suiteはseed感受的なnear-tie。4 backbone-suite比較中3つ、12 seed-level cell中11がbackbone依存のrankingを支持。

3. 技術・手法の肝は?

frozen-backbone grafting diagnostic:release済みVLAのvision towerを候補encoderに置換。固定protocolはadaptive average pooling、LayerNorm、単一のtrainable linear projector。language modelとaction expertはfrozen。評価はoffline action MSE。40 main grafting runsに加え、native、LoRA、pooling、zero-/shuffled-image controlsを実施。

4. どうやって有効だと検証した?

4 encoder、2 LIBERO suite、2 backbone(SmolVLA-450Mとπ0.5-3.3B)、各cell 2-3 seedで40 main grafting runsを実行。native、LoRA、pooling、zero-/shuffled-image controlsも含め、すべてoffline action MSEでスコア。結果、小backboneの勝者が大backboneのtop tierを信頼性高く選ばないことを確認。

5. 議論はある?

grafting wrapper自体が非中立で、backbone間で逆符号(SmolVLA native towerで+45-56% MSE、π0.5で-50-52%)。よって全結論は固定grafting protocolに条件付き。frozen graftingはscaleでencoderを確定する前に実行する安価なtarget-backbone diagnosticとして位置づけ、closed-loop deploymentの主張ではない。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法:SmolVLA、π0.5、SigLIP、DINOv2-small、LIBERO、LoRA。これらを挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qingping Zeng, Fei She

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language-action (VLA) policies typically inherit their vision encoder from upstream VLM releases, but it is unclear whether an encoder choice validated on a small VLA transfers to a larger backbone. We introduce a frozen-backbone grafting diagnostic: the vision tower of a released VLA is replaced by a candidate encoder under a fixed protocol (adaptive average pooling, LayerNorm, and a single trainable linear projector), with the language model and action expert frozen. Across four encoders, two LIBERO suites, two backbones (SmolVLA-450M and $\pi_{0.5}$-3.3B), and two-to-three seeds per cell (40 main grafting runs plus native, LoRA, pooling, and zero-/shuffled-image controls, all scored by offline action MSE), the small-backbone winner does not reliably select the large-backbone top tier: SigLIP is best on SmolVLA across both suites, while on $\pi_{0.5}$ DINOv2-small leads the spatial suite and the object suite is a seed-sensitive near-tie band; three of the four backbone-suite comparisons (and 11 of 12 seed-level cells) support backbone-dependent rankings. The grafting wrapper is itself non-neutral with opposite sign across backbones (+45-56% MSE on the SmolVLA native tower, -50-52% on $\pi_{0.5}$), so all conclusions are conditional on the fixed grafting protocol. We position frozen grafting as a cheap target-backbone diagnostic to run before committing to an encoder at scale, not as a closed-loop deployment claim.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI