日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2512.17370

TakeAD: 専門家の介入データを用いた選好ベースの事後最適化によるエンドツーエンド自動運転

TakeAD: Preference-based Post-optimization for End-to-end Autonomous Driving with Expert Takeover Data

シェア:XThreadsFacebookLINEはてブBluesky

自動運転の模倣学習における開ループ訓練と閉ループ運用のギャップを埋めるため、ドライバー介入データを活用しDAggerとDPOを組み合わせて方策を微調整する手法を提案した。

詳しい要約

1. どんなもの?

- 本論文は、end-to-end autonomous driving における open-loop training と closed-loop deployment の不整合によって生じる driver-initiated takeover や system disengagement に着目した研究。 - これらの disengagement シナリオから得られる expert takeover data を活用し、事前学習済みの imitation learning (IL) policy を fine-tune する preference-based post-optimization framework「TakeAD」を提案。 - 目的は closed-loop driving performance の向上と open-loop gap の緩和。

2. 先行研究と比べてどこがすごい?

- 既存の end-to-end autonomous driving 手法は主に imitation learning (IL) に依存し、open-loop training と closed-loop deployment の不整合が課題。 - この不整合が closed-loop 実行時の driver-initiated takeover や system disengagement を引き起こす。 - 従来、disengagement シナリオの expert takeover data を活用して IL policy の能力を拡張する試みは未探索の課題であったと位置づけている。 - 本手法はそのデータを preference-based post-optimization に用いる点が新規。

3. 技術・手法の肝は?

- 実世界の autonomous driving system における human takeover mechanism に着想を得た、効率的な expert takeover data collection pipeline を設計。 - post-optimization framework は、imitation learning 用の iterative Dataset Aggregation (DAgger) と preference alignment 用の Direct Preference Optimization (DPO) を統合。 - DAgger stage では expert intervention を直接模倣し、disengagement state に対処する基本能力を獲得。 - 続く DPO stage では disengagement シナリオにおける expert preference に policy の振る舞いを整合させる。 - 複数回の iteration を通じて recovery strategy を段階的に学習し、open-loop…

4. どうやって有効だと検証した?

- closed-loop の Bench2Drive benchmark 上で実験を実施。 - pure IL methods と比較して本手法の有効性を示した。 - comprehensive ablations により各 component の寄与を確認。

5. 議論はある?

- 要旨からは不明(具体的な限界や議論の詳細は記述されていない)。 - ただし open-loop gap の緩和と disengagement state への recovery strategy 学習を主張しており、その一般性や他 benchmark への適用可能性は要旨からは不明。

6. 次に読むべき論文は?

- iterative Dataset Aggregation (DAgger) - Direct Preference Optimization (DPO) - imitation learning (IL) を用いた end-to-end autonomous driving の代表的手法 - closed-loop benchmark である Bench2Drive 関連の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Deqing Liu, Yinfeng Gao, Deheng Qian, Qichao Zhang, Xiaoqing Ye, Junyu Han, Yupeng Zheng, Xueyi Liu, Zhongpu Xia, Dawei Ding, Yifeng Pan, Dongbin Zhao

分類: cs.RO, cs.AI

原文アブストラクト

Existing end-to-end autonomous driving methods typically rely on imitation learning (IL) but face a key challenge: the misalignment between open-loop training and closed-loop deployment. This misalignment often triggers driver-initiated takeovers and system disengagements during closed-loop execution. How to leverage those expert takeover data from disengagement scenarios and effectively expand the IL policy's capability presents a valuable yet unexplored challenge. In this paper, we propose TakeAD, a novel preference-based post-optimization framework that fine-tunes the pre-trained IL policy with this disengagement data to enhance the closed-loop driving performance. First, we design an efficient expert takeover data collection pipeline inspired by human takeover mechanisms in real-world autonomous driving systems. Then, this post optimization framework integrates iterative Dataset Aggregation (DAgger) for imitation learning with Direct Preference Optimization (DPO) for preference alignment. The DAgger stage equips the policy with fundamental capabilities to handle disengagement states through direct imitation of expert interventions. Subsequently, the DPO stage refines the policy's behavior to better align with expert preferences in disengagement scenarios. Through multiple iterations, the policy progressively learns recovery strategies for disengagement states, thereby mitigating the open-loop gap. Experiments on the closed-loop Bench2Drive benchmark demonstrate our method's effectiveness compared with pure IL methods, with comprehensive ablations confirming the contribution of each component.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI