日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2512.04279

特権を超えて走る:密報酬知識を疎報酬ポリシーへ蒸留

Driving Beyond Privilege: Distilling Dense-Reward Knowledge into Sparse-Reward Policies

シェア:XThreadsFacebookLINEはてブBluesky

CARLAの自動運転で、密な特権報酬で訓練した教師の潜在ダイナミクスだけを蒸留し、疎なタスク報酬で学ぶ生徒が教師やゼロから学習する手法を上回る二段階フレームワークを提案。

詳しい要約

1. どんなもの?

視覚ベース自動運転において、CARLAのようなシミュレータで得られるdenseなprivileged rewardを活用しつつ、deployment指標との不整合を避ける手法を研究する。提案はreward-privileged world model distillationと呼ぶ二段階フレームワークで、まずteacher DreamerV3-style agentをdense privileged rewardで訓練し、そのlatent dynamicsのみをsparse task rewardで訓練するstudentに蒸留する。teacherとstudentは同じobservation space(semantic bird's-eye-view images)を共有し、privileged情報はteacherのrewardにのみ入る。studentはteacherのactionやvalueを模倣せず、world modelをteacherのlatent dynamicsに合わせて正則化しつつ、policyはsparseなsuccess/failure信号からゼロから学習する。

2. 先行研究と比べてどこがすごい?

dense rewardで直接訓練したpolicyはoverfitし、route completionやcollision-free overtakingのようなsparse目的での評価に一般化しにくい。提案はdense rewardをpolicy学習ではなくworld modelのlatent dynamics学習にのみ利用し、deployed policyはsparseでdeployment-alignedな目的に厳密に最適化する点が異なる。CARLAのlane-followingとovertakingベンチマークで、sparse-reward studentはdense-reward teacherおよびsparse-from-scratch baselineの両方を上回った。

3. 技術・手法の肝は?

二段階のreward-privileged world model distillation。 - 第一段階: teacher DreamerV3-style agentをdense privileged rewardで訓練。privileged state(lane geometry, infractions, time-to-collision)をdense rewardに変換。 - 第二段階: studentをsparse task rewardのみで訓練。teacherのlatent dynamicsのみを蒸留し、studentのworld modelをteacherのlatent dynamicsに一致するよう正則化。 - studentはteacherのactionやvalue estimateを模倣しない。policyはsparseなsuccess/failure信号からスクラッチで学習。 - teacherとstudentはsemantic bird's-eye-view imagesという同一observation spaceを共有。

4. どうやって有効だと検証した?

CARLAのlane-followingおよびovertakingベンチマークで検証。 - unseen lane-following routesで、reward-privileged distillationはdense teacherと比べsuccessが約23%改善し、安全性は同等以上。 - overtakingでは、studentはtraining routesでほぼ完璧な性能を維持し、unseen routesでsuccessが最大27x改善、lane keepingも向上。 - sparse-reward studentはdense-reward teacherおよびsparse-from-scratch baselineの両方を上回った。

5. 議論はある?

dense rewardはより豊かなdynamics modelの学習に活用できる一方、deployed policyはsparseでdeployment-alignedな目的に厳密に最適化できることを示す。ただし、要旨からは限界や失敗ケース、計算コスト、他のタスクへの一般化可能性についての議論は不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究: DreamerV3-style agent、CARLA、dense privileged rewardを用いるmodel-based reinforcement learning、sparse-from-scratch baseline。関連手法としてworld model distillation、privileged learning、reward shaping。同分野の定番としてmodel-based RL、Dreamer、privileged training、sim-to-real transfer。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Feeza Khan Khanzada, Jaerock Kwon

分類: cs.RO

原文アブストラクト

We study how to exploit dense simulator-defined rewards in vision-based autonomous driving without inheriting their misalignment with deployment metrics. In realistic simulators such as CARLA, privileged state (e.g., lane geometry, infractions, time-to-collision) can be converted into dense rewards that stabilize and accelerate model-based reinforcement learning, but policies trained directly on these signals often overfit and fail to generalize when evaluated on sparse objectives such as route completion and collision-free overtaking. We propose reward-privileged world model distillation, a two-stage framework in which a teacher DreamerV3-style agent is first trained with a dense privileged reward, and only its latent dynamics are distilled into a student trained solely on sparse task rewards. Teacher and student share the same observation space (semantic bird's-eye-view images); privileged information enters only through the teacher's reward, and the student does not imitate the teacher's actions or value estimates. Instead, the student's world model is regularized to match the teacher's latent dynamics while its policy is learned from scratch on sparse success/failure signals. In CARLA lane-following and overtaking benchmarks, sparse-reward students outperform both dense-reward teachers and sparse-from-scratch baselines. On unseen lane-following routes, reward-privileged distillation improves success by about 23 percent relative to the dense teacher while maintaining comparable or better safety. On overtaking, students retain near-perfect performance on training routes and achieve up to a 27x improvement in success on unseen routes, with improved lane keeping. These results show that dense rewards can be leveraged to learn richer dynamics models while keeping the deployed policy optimized strictly for sparse, deployment-aligned objectives.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI