日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2606.14010

RT-VLA: 知識蒸留によるリアルタイム視覚言語行動モデル

RT-VLA: Real-Time Vision-Language-Action Models via Knowledge Distillation

シェア:XThreadsFacebookLINEはてブBluesky

大規模なVLAモデルの推論遅延を解決するため、教師モデルSimLingoから知識蒸留で軽量な学生モデルRT-VLAを構築し、推論時間を大幅に削減しつつ運転性能と言語推論を維持する手法を提案した。

詳しい要約

1. どんなもの?

- 自動運転向けの軽量な Vision-Language-Action (VLA) モデル RT-VLA を提案 - 大規模な vision-language backbone と reasoning module による推論遅延を削減 - 教師モデル SimLingo の運転・推論能力を compact な student に転移 - 言語ベースの reasoning を保持し、offline の言語分析で post-hoc 説明を可能に - リアルタイム制御に遅延を追加しない設計

2. 先行研究と比べてどこがすごい?

- 従来の VLA モデルは大規模 backbone と reasoning module のため推論遅延が大きく、実車展開が困難 - 教師である state-of-the-art の SimLingo と比較し、closed-loop 運転と language reasoning 性能を競合レベルで維持 - 推論時間を vision-only モードで 44.8X、vision+language モードで 7.9X 削減 - 説明可能性を保ちつつリアルタイム性を両立した点が優位

3. 技術・手法の肝は?

- multi-level supervised distillation により SimLingo の運転・推論能力を compact な student へ転移 - 軽量な VLA モデルとして設計し、vision-language backbone と reasoning module の負荷を低減 - 言語ベース reasoning を保持し、安全クリティカルな運転場面を offline で言語分析して post-hoc 説明を実現 - リアルタイム制御経路には説明生成の遅延を加えない構成

4. どうやって有効だと検証した?

- SimLingo 教師と RT-VLA を比較し、closed-loop driving と language reasoning の性能を評価 - 推論時間の削減率を vision-only モードで 44.8X、vision+language モードで 7.9X と報告 - 具体的なデータセット名やベンチマーク詳細は要旨からは不明

5. 議論はある?

- supervised distillation がリアルタイムで説明可能な VLA 型自動運転モデル構築に実用的であると示唆 - 性能と遅延のトレードオフに関する詳細な議論は要旨からは不明 - 安全性や一般化に関する限界は要旨からは不明

6. 次に読むべき論文は?

- SimLingo (教師モデルとして参照) - Vision-Language-Action (VLA) モデル全般 - 自動運転向け knowledge distillation 関連研究 - 具体的な関連論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyu Huang, Zhenlin Hua, Han Zhou, Shounak Sural, Ragunathan Rajkumar

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong potential for end-to-end autonomous driving by jointly modeling visual perception, language reasoning, explainability and action prediction. However, their large vision-language backbones and reasoning modules introduce substantial inference latency and thereby prevent their deployment in the unforgiving reality of the road networks. We propose RT-VLA, a lightweight, distilled VLA model that transfers the driving and reasoning capabilities of the state-of-the-art SimLingo model into a compact student through multi-level supervised distillation. RT-VLA preserves language-based reasoning and supports post-hoc explanation through offline language analysis of safety-critical driving moments without adding latency to real-time control. Compared to the SimLingo teacher, RT-VLA maintains competitive closed-loop driving and language reasoning performance while reducing inference time by 44.8X in vision-only mode and 7.9X in vision+language mode. These results suggest that supervised distillation is a practical approach for building real-time, explainable VLA-style autonomous driving models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI