日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2603.00919

DriveCode: LLMベース自動運転のためのドメイン特化型数値エンコーディング

DriveCode: Domain Specific Numerical Encoding for LLM-Based Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

数値を専用埋め込みとして表現するDriveCodeを提案し、LLMベース自動運転における軌道予測と制御信号生成の精度を向上させた。

詳しい要約

1. どんなもの?

- LLMベースの自動運転向けに、数値を離散トークンではなく専用の埋め込みとして表現する数値エンコーディング手法DriveCodeを提案。 - number projectorで数値を言語モデルの隠れ空間に写像し、視覚・テキスト特徴と統合したマルチモーダル系列を実現。 - 軌道予測と制御信号生成の性能向上を確認。

2. 先行研究と比べてどこがすごい?

- 従来の数値離散化トークン化は、精密な数値推論を制限し、学習目的で桁の位置的重要性を反映できず、復号効率と数値精度の両立が困難。 - DriveCodeは数値を専用埋め込みとして扱うことで、これらの制限を克服し、センサ測定処理と精密制御コマンド生成の両方で優位性を示す。

3. 技術・手法の肝は?

- 数値を専用の埋め込みとして表現し、number projectorにより言語モデルの隠れ空間にマッピング。 - 視覚・テキスト特徴とシームレスに統合し、統一マルチモーダル系列を構成。 - これにより、数値の位置的重要性を保持しつつ、効率的な復号と高精度を両立。

4. どうやって有効だと検証した?

- OmniDrive、DriveGPT4、DriveGPT4-V2データセットで評価。 - 軌道予測と制御信号生成において優れた性能を確認し、有効性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- OmniDrive、DriveGPT4、DriveGPT4-V2に関連する研究。 - LLMベース自動運転の数値エンコーディングやマルチモーダル統合に関する手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiye Wang, Yanbo Jiang, Rui Zhou, Bo Zhang, Fang Zhang, Zhenhua Xu, Yaqin Zhang, Jianqiang Wang

分類: cs.CV, cs.RO

原文アブストラクト

Large language models (LLMs) have shown great promise for autonomous driving. However, discretizing numbers into tokens limits precise numerical reasoning, fails to reflect the positional significance of digits in the training objective, and makes it difficult to achieve both decoding efficiency and numerical precision. These limitations affect both the processing of sensor measurements and the generation of precise control commands, creating a fundamental barrier for deploying LLM-based autonomous driving systems. In this paper, we introduce DriveCode, a novel numerical encoding method that represents numbers as dedicated embeddings rather than discrete text tokens. DriveCode employs a number projector to map numbers into the language model's hidden space, enabling seamless integration with visual and textual features in a unified multimodal sequence. Evaluated on OmniDrive, DriveGPT4, and DriveGPT4-V2 datasets, DriveCode demonstrates superior performance in trajectory prediction and control signal generation, confirming its effectiveness for LLM-based autonomous driving systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI