日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/蒸留arXiv:2605.16241

オフライン意味ガイダンスによる効率的な視覚言語行動ポリシー蒸留

Offline Semantic Guidance for Efficient Vision-Language-Action Policy Distillation

シェア:XThreadsFacebookLINEはてブBluesky

大規模な視覚言語行動(VLA)モデルを軽量な学生ポリシーへ蒸留する際、オフラインの視覚言語モデルから高次意味情報(タスク位相アンカーや多フレーム方向記述)を教師信号として活用するフレームワークVLA-ADを提案。モデルサイズを44倍削減しつつ、教師とほぼ同等の性能を達成。

詳しい要約

1. どんなもの?

- 大規模な Vision-Language-Action (VLA) ポリシーを軽量な student ポリシーへ蒸留するフレームワーク VLA-AD を提案。 - Vision-Language Model (VLM) を offline semantic supervisor として用い、7-DoF action targets に加え task phase anchors や multi-frame operating-direction descriptions といった高レベル意味指導を付与。 - 学習時のみ補助信号を使い、テスト時は student 単体で動作し teacher も VLM も不要。 - LIBERO benchmark で評価し、OpenVLA-7B teacher から 158M パラメータの student を生成、44倍のサイズ削減と 0.27% の平均相対ギャップを達成。 - RTX 4090 上で 12.5 Hz 動作、OpenVLA-7B 比 3.28倍の推論高速化。

2. 先行研究と比べてどこがすごい?

- 従来の蒸留は低レベル action imitation に依存しがちだが、VLA-AD は VLM による offline semantic guidance を追加。 - task phase anchors と multi-frame operating-direction descriptions により、ノイズの多い teacher action(例:誤った高頻度 gripper 変化)に対する student の感度を低減。 - 同一の semantic distillation pipeline が π_{0.5}-4B teacher にも汎化し、2つの suite で student が teacher を上回り、libero_goal でも 0.53% 以内に収まる。 - これにより VLA 蒸留の効率・ロバスト性・展開容易性を大幅に改善。

3. 技術・手法の肝は?

- VLM を offline semantic supervisor として使い、teacher の 7-DoF action targets を高レベル意味指導で拡張。 - 補助信号は task phase anchors と multi-frame operating-direction descriptions の2種類。 - これらは学習時のみ使用し、推論時には student ポリシーのみが動作。 - 蒸留パイプラインは teacher に依存せず、OpenVLA-7B と π_{0.5}-4B の両方に適用可能。

4. どうやって有効だと検証した?

- LIBERO benchmark の3つの suite で評価。 - OpenVLA-7B teacher から 158M student を生成し、44倍のサイズ削減と 0.27% の平均相対ギャップを確認。 - RTX 4090 上で 12.5 Hz 動作、OpenVLA-7B 比 3.28倍の推論高速化を実証。 - π_{0.5}-4B teacher でも同様の蒸留パイプラインが機能し、2 suite で student が teacher を上回り、libero_goal で 0.53% 以内。 - 追加分析で phase-level supervision と multi-frame directional cues がノイズ耐性に寄与することを示唆。

5. 議論はある?

- 要旨からは、VLA-AD の限界や失敗事例、計算コスト、VLM の選定基準などに関する議論は明記されていない。 - ただし、phase-level supervision と multi-frame directional cues が student をノイズの多い teacher action に対して鈍感にする点は議論されている。 - 全体的に offline semantic guidance が VLA 蒸留の効率・ロバスト性・展開容易性を改善することを示す。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究:OpenVLA-7B、π_{0.5}-4B、LIBERO benchmark。 - 関連手法として、Vision-Language-Action (VLA) ポリシー、Vision-Language Model (VLM)、知識蒸留 (knowledge distillation)、action imitation が挙げられる。 - 同分野の定番として、RT-1、RT-2、Diffusion Policy などが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin Shi, Brady Zhang, Yishun Lu

分類: cs.CV, cs.AI

原文アブストラクト

Billion-parameter Vision-Language-Action (VLA) policies have recently shown impressive performance in robotic manipulation, yet their size and inference cost remain major obstacles for real-time closed-loop control. We introduce \textbf{VLA-AD}, a distillation framework that uses a Vision-Language Model as an offline semantic supervisor to transfer large VLA teachers into lightweight student policies. Instead of relying only on low-level action imitation, VLA-AD augments teacher-provided 7-DoF action targets with high-level semantic guidance, including task phase anchors and multi-frame operating-direction descriptions. These auxiliary signals are used only during training: at test time, the student policy runs independently, with neither the VLA teacher nor the VLM required. We evaluate VLA-AD on three LIBERO benchmark suites. Using OpenVLA-7B as the teacher, our method produces a 158M-parameter student, yielding a $44\times$ reduction in model size while matching the teacher with only a $0.27\%$ average relative gap. The resulting policy runs at 12.5 Hz on an RTX 4090, achieving a $3.28\times$ inference speedup over OpenVLA-7B. We further show that the same semantic distillation pipeline generalizes to a different $π_{0.5}$-4B teacher, where the student outperforms the teacher on two suites and remains within $0.53\%$ on \texttt{libero\_goal}. Additional analysis indicates that phase-level supervision and multi-frame directional cues make the student less sensitive to noisy teacher actions, such as erroneous high-frequency gripper changes. Overall, VLA-AD demonstrates that offline semantic guidance from VLMs can substantially improve the efficiency, robustness, and deployability of VLA policy distillation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI