日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.20262

Shallow-π: フローベースVLAのための知識蒸留

Shallow-{\pi}: Knowledge Distillation for Flow-based VLAs

シェア:XThreadsFacebookLINEはてブBluesky

フローベースの視覚-言語-行動モデルのTransformer層を18層から6層に削減する知識蒸留フレームワークを提案し、成功率をほぼ落とさず2倍以上の推論高速化を実現した。

詳しい要約

1. どんなもの?

- リアルタイムなロボット展開のため、VLAモデルのオンデバイス推論を高速化する研究。 - flow-based VLAモデルに対し、知識蒸留でtransformerの層数を削減するShallow-πを提案。 - VLM backboneとflow-based action headの両方を18層から6層に圧縮。 - 推論速度2倍以上、成功率の絶対低下1%未満を達成。 - Jetson Orin/Thor上で人型含む複数ロボットの実世界実験も実施。

2. 先行研究と比べてどこがすごい?

- VLAの効率化はvisual token pruningなどtokenレベルの研究が中心。 - transformer層削減の体系的検討は限られ、flow-based VLAでの知識蒸留は未探索と主張。 - 本手法は層削減VLAの中でstate-of-the-art性能を達成。 - 産業規模の実機検証まで行う点が先行研究と異なる。

3. 技術・手法の肝は?

- 知識蒸留の枠組みでtransformerの深さを積極的に削減。 - VLM backboneとflow-based action headの両方を対象に層数を18から6へ圧縮。 - flow-based VLA特有の蒸留設計を導入。 - 詳細な蒸留損失や層選択の具体は要旨からは不明。

4. どうやって有効だと検証した?

- 標準的なmanipulation benchmarkで成功率を評価。 - 推論速度2倍以上、成功率の絶対低下1%未満を確認。 - Jetson OrinとJetson Thor上で、人型を含む複数ロボットプラットフォームの実世界実験を実施。 - 複雑で動的なmanipulationシナリオで検証。

5. 議論はある?

- 層削減VLAの中でのstate-of-the-art性能を主張。 - 実機・エッジデバイスでの有効性を示す。 - 限界や失敗事例、蒸留の一般性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- flow-based VLAモデル(例: π0などのflow-based VLA) - visual token pruningなどtokenレベルのVLA効率化研究 - knowledge distillation for VLA - Jetson Orin/Thor上のロボット推論 - 要旨で具体的な参照論文は明示されていないため、上記関連手法を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boseong Jeon, Yunho Choi, Taehan Kim

分類: cs.RO

原文アブストラクト

The growing demand for real-time robotic deployment necessitates fast and on-device inference for vision-language-action (VLA) models. Within the VLA literature, efficiency has been extensively studied at the token level, such as visual token pruning. In contrast, systematic transformer layer reduction has received limited attention and, to the best of our knowledge, has not been explored for flow-based VLA models under knowledge distillation. In this work, we propose Shallow-pi, a principled knowledge distillation framework that aggressively reduces the transformer depth of both the VLM backbone and the flow-based action head, compressing the model from 18 to 6 layers. Shallow-pi achieves over two times faster inference with less than one percent absolute drop in success rate on standard manipulation benchmarks, establishing state-of-the-art performance among reduced VLA models. Crucially, we validate our approach through industrial-scale real-world experiments on Jetson Orin and Jetson Thor across multiple robot platforms, including humanoid systems, in complex and dynamic manipulation scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI