日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2607.15621

5Hzで考え、20Hzで動く:閉ループ運転のための非同期高速・低速ビジョン言語行動推論

Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルの推論遅延と車両制御レートのギャップを解消するため、低速のVLバックボーンと高速の行動エキスパートを非同期に組み合わせ、毎シミュレーションチックで新鮮な制御を生成するアーキテクチャを提案した。

詳しい要約

1. どんなもの?

本論文は、閉ループ自動運転のための非同期なFast-Slow Vision-Language-Action (VLA)推論アーキテクチャを提案する。Large Language Model (LLM)の推論遅延と車両の制御レートのギャップを解消するため、凍結した7B vision-language backboneを低速システムとして、ナビゲーション指示と視覚履歴を低頻度で処理し、そのper-layer key-value cacheをシーンの表現として保持する。一方、軽量なaction expertを高速システムとして、各シミュレーションチックでcacheと現在のカメラフレームにアテンションし、waypointを単一のforward passで回帰する。CARLAのLangAuto-Shortルートで、50msごとのチックで新鮮な制御を生成し、route completionを37.0から94.0に向上させる。

2. 先行研究と比べてどこがすごい?

既存の閉ループエージェントは、モデルをシミュレーションの交互チックで呼び出し、その間は前のコマンドを再生するため、制御出力の半分が最新の観測を無視する。本手法は、fast-slowアーキテクチャによりこの妥協を排除し、毎チックで新鮮な制御を生成する点が新しい。また、cacheの遅延をランダムなstalenessで訓練することで、非同期実行に整合させる点も先行研究と異なる。

3. 技術・手法の肝は?

手法の肝は、凍結した7B vision-language backboneを低速システムとして使い、そのper-layer key-value cacheをシーンのstanding representationとして公開すること。高速システムであるaction expertは、このcacheと現在のカメラフレームにアテンションし、waypointを回帰する。訓練時には、cacheの遅延をランダム化(randomized staleness)して、非同期実行時の遅延にロバストにする。これにより、毎チックで新鮮な制御を生成しつつ、backboneの推論は低頻度で済む。

4. どうやって有効だと検証した?

CARLAのLangAuto-Shortルートで評価。frame-skipping baselineと比較し、route completionを37.0から94.0に向上。frame-skip ablationにより、expert自体の効果とper-tick freshnessの効果を分離し、freshnessがcompletionを82.1から94.0に上げ、赤信号違反を3分の1減らすことを示した。また、単一のtownで訓練したexpertは、未見の2つのtownにzero-shot転送し、route completion 84-94%を達成(baselineは31-41%)。open-loop waypoint errorはbackboneのaction headと比較して約4分の1に削減。per-tickモデルコストは32msで、履歴長に依存しない。

5. 議論はある?

要旨からは、議論の詳細は不明。ただし、提案手法はcacheの遅延をランダム化して訓練するが、実際の遅延分布が訓練時の分布と異なる場合の影響や、より複雑なシナリオでの性能、cacheの表現力の限界などが議論の対象となり得る。また、7B backboneの凍結とaction expertの軽量性のトレードオフ、実車への適用可能性なども議論される可能性がある。

6. 次に読むべき論文は?

要旨で参照されている研究は、frame-skipping baseline(既存の閉ループエージェント)と、backboneのaction head(おそらくvision-language modelの行動予測ヘッド)である。また、関連手法として、Vision-Language-Actionモデル全般や、CARLAにおける閉ループ運転の研究が挙げられる。具体的には、LLMを用いた運転エージェントの研究や、cache-based推論の効率化手法などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada

分類: cs.RO, cs.AI

原文アブストラクト

Large language models bring instruction following and scene reasoning to end-to-end driving, but their inference latency collides with the control rate a vehicle requires. Existing closed-loop agents hide this gap by invoking the model on alternate simulation ticks and replaying the previous command in between, so half of all control outputs ignore the newest observations. We present a fast-slow architecture that removes this compromise. A frozen 7B vision-language backbone acts as the slow system, digesting navigation instructions and visual history at low frequency while exposing its per-layer key-value cache as a standing representation of the scene. A lightweight action expert acts as the fast system, attending to this cache and to the current camera frame at every simulation tick to regress waypoints in a single forward pass. Since the cache lags behind the world at deployment, we train the expert under randomized staleness, aligning training with asynchronous execution. On LangAuto-Short routes in CARLA, our system produces fresh control at every 50 ms simulation tick and lifts route completion from 37.0 to 94.0 over the frame-skipping baseline. A frame-skip ablation with the same expert separates the two factors at work: the expert raises the driving score on its own, while per-tick freshness raises completion from 82.1 to 94.0 and cuts red-light violations by a third. Trained on a single town, the expert transfers zero-shot to two unseen towns, holding 84-94% route completion where the baseline reaches 31-41%. It reduces open-loop waypoint error by nearly a factor of four compared to the backbone's own action head, at a per-tick model cost of 32 ms that is independent of history length on a single consumer GPU.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI