日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2605.27038

TPS-Drive: タスク誘導型表現精製によるVLMベース自動運転

TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

VLMベースの自動運転計画において、空間的推論と3D予測のギャップを埋めるため、タスク誘導型表現精製フレームワークTPS-Driveを提案。エージェント中心トークナイザで背景冗長性を除去し、精製された空間語彙を用いてシーン理解・未来予測・行動生成を段階的に行う。

詳しい要約

1. どんなもの?

- TPS-Driveは、VLMベースの自動運転計画フレームワーク。 - タスク誘導型表現精製(Task-Guided Representation Purification)を中心とし、VLMが精製された空間で思考する。 - エージェント中心のトークナイザと分離推論パイプラインを備える。

2. 先行研究と比べてどこがすごい?

- 既存のテキスト整合手法は空間状態を記号化し、幾何構造を損ない「空間幻覚」を引き起こす。 - 密な視覚手法は空間トポロジーを保持するが、冗長な背景テクスチャでトークナイザを圧倒し「表現干渉」を招く。 - TPS-Driveはこれらの制限を克服し、動的エージェントにコードブック容量を再配分する。

3. 技術・手法の肝は?

- エージェント中心のトークナイザが、凍結された3D検出ヘッドで監督されたタスク誘導ベクトル量子化を利用。 - 限られたコードブック容量を静的背景から動的エージェントへ再配分し、空間冗長性を分離。 - 分離推論パイプラインでシーン理解、未来予測、行動生成を順次実行。 - 漸進的3段階訓練パラダイムで最適化し、報酬駆動微調整で模倣学習を超える。

4. どうやって有効だと検証した?

- オープンループnuScenes評価で正確なエージェント空間状態予測と衝突率低減を達成。 - クローズドループNAVSIMv1とNAVSIMv2ベンチマークで新たな安全記録を樹立。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている先行研究:テキスト整合手法、密な視覚手法。 - 関連手法:VLMベースの自動運転計画、ベクトル量子化、3D検出。 - ベンチマーク:nuScenes、NAVSIMv1、NAVSIMv2。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxiang Li, Yumao Liu, Ke Ma

分類: cs.RO

原文アブストラクト

Vision-Language Models (VLMs) provide a promising foundation for autonomous driving planning, yet bridging semantic reasoning and precise 3D spatial forecasting remains a critical challenge. Existing representation strategies generally follow two paths: text-aligned methods flatten continuous spatial states into symbols, which compromises geometric structure and induces "spatial hallucinations"; dense visual methods preserve spatial topology but overwhelm standard tokenizers with redundant background textures, leading to "representation interference". To address these limitations, we introduce TPS-Drive, a novel framework centered on Task-Guided Representation Purification that empowers VLMs to Think in Purified Space. At its core, an Agent-Centric Tokenizer utilizes a task-guided vector quantization mechanism supervised by a frozen 3D detection head, which explicitly reallocates limited codebook capacity from pervasive static backgrounds to critical dynamic agents and effectively isolates spatial redundancy. Leveraging this purified spatial vocabulary, TPS-Drive employs a decoupled reasoning pipeline that sequentially performs scene understanding, future forecasting, and action generation. The framework is optimized via a progressive three-stage training paradigm, culminating in reward-driven refinement that surpasses pure imitation learning. Extensive experiments validate our approach: TPS-Drive achieves accurate agent spatial state forecasting and reduces collision rates in open-loop nuScenes evaluations, while establishing new safety records on the rigorous closed-loop NAVSIMv1 and NAVSIMv2 benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI