MindVLA-U1: 統合ストリーミングアーキテクチャによる自動運転向けVLAがVAを凌駕

本論文は、自動運転向けの初のunified streaming VLA architectureであるMindVLA-U1を提案する。 - 単一のunified VLM backboneが、1回のforward passでAR language tokens（任意）とflow-matching continuous action trajectoriesを同一のshared representation上で生成する。 - 各モダリティの自然な出力形式を保つ。 - full streaming designにより、driving videoを固定のvideo-action chunksではなくframewiseに処理する。 - 計画軌跡はフレーム間で滑らかに変化し、learned streaming memory channelがtemporal contextを保持・更新する。 - dense & sparse MoT backbones上でfast/slow systemsを可能にする。

従来、driving VLAsはplanning品質でVAに劣ることが多く、その差はmodel scaleではなくsemantic reasoning・temporal context・continuous controlの統合interfaceにあると著者らは主張する。 - 従来のVLAはisolated subtask improvementsとして構築され、coherent driving capabilitiesを構成できていなかった。 - MindVLA-U1はunified streaming VLA architectureとして、この構成上の問題に対処する。 - long-tail WOD-E2E benchmarkで、初めてexperienced human driversを上回る（8.20 RFS vs. 8.13 GT RFS、2 diffusion steps）。 - 先行VA/VLAに対しstate-of-the-art planning ADEsを大きな差で達成。 - VA latencyに匹敵（1B scaleで16 FPS vs. RAPの18 FPS）…

技術の肝は、unified streaming architectureとlanguage-control pathにある。 - unified VLM backboneが、AR language tokens（optional）とflow-matching continuous action trajectoriesを単一forward passで生成する。 - full streaming designにより、driving videoをframewiseに処理し、costly temporal VLM modelingを避ける。 - learned streaming memory channelがtemporal contextを運び、更新する。 - dense & sparse MoT backbones上で、flexible self-attention context managementによりfast/slow systemsを実現する。 - language-predicted driving intentsがclassifier-free guidance (CFG…

long-tail WOD-E2E benchmarkで検証している。 - 2 diffusion stepsで8.20 RFSを達成し、experienced human driversの8.13 GT RFSを初めて上回った。 - 先行VA/VLAに対しstate-of-the-art planning ADEsを大きな差で達成した。 - 1B scaleで16 FPSを達成し、RAPの18 FPSとVA latencyに匹敵することを示した。 - natural language interfaces for human-vehicle interactionを保持することも確認している。

著者らは、driving VLAsがVAに劣るのはmodel scaleではなく、semantic reasoning・temporal context・continuous controlを組み合わせるinterfaceの問題だと議論している。 - 従来のVLA構築法（isolated subtask improvements）ではcoherent driving capabilitiesが構成できないと指摘する。 - unified streaming architectureにより、この構成上の課題を解決できると主張する。 - ただし、要旨からは限界や失敗事例、計算コストの詳細な議論は不明。

要旨で参照・比較されている研究として、VA、VLA、RAP、WOD-E2E benchmarkが挙げられる。 - 関連手法として、flow-matching、classifier-free guidance (CFG)、MoT backbones、AR language tokens、streaming memory channelが言及されている。 - 同分野の定番として、end-to-end autonomous driving、Vision-Language-Action models、Vision-to-Action models、temporal VLM modelingが挙げられる。