運転意図の増幅による計画指向強化学習の性能向上

- 単一のdemonstrated trajectoryから学習した連続行動policyはmode collapseを起こし、意味的に異なる代替maneuverを表現できない問題に取り組む。 - DIAL (Driving-Intent-Amplified reinforcement Learning) という2段階のpreference-aligned continuous-action driving policyフレームワークを提案。 - 第1段階でflow-matching action headをdiscrete intent labelで条件付けし、classifier-free guidance (CFG) でsampling distributionを拡張。 - 第2段階でmulti-intent GRPOによりpreference RLへ拡張分布を引き継ぐ。 - end-to-end driving向けに8つのrule-derived intentsで実装し、WOD-E2Eで評価。

- 競合するVision-to-Action (VA)およびVision-Language-Action (VLA)のSupervised Finetuning (SFT)ベースラインはbest-of-128でもhuman-driven demonstrationを下回る。 - 最強のpriorであるRAPはbest-of-64でもRater Feedback Score (RFS) 8.5で頭打ち。 - intent-CFG samplingはbest-of-128でRFS 9.14に引き上げ、prior best (RAP 8.5)とhuman-driven demonstration (8.13)の両方を初めて上回る。 - multi-intent GRPOはheld-out RFSを7.681から8.211へ改善し、single-intentベースラインはすべて低いピークで訓練終盤に劣化。

- 第1段階: flow-matching action headをdiscrete intent labelで条件付け、classifier-free guidance (CFG)を適用。 - これによりsampling distributionを異なるmaneuver modesに沿って拡張し、single-demonstration mode collapseを打破。 - 第2段階: multi-intent GRPOを導入し、各preference group内で全intent classを網羅。 - これによりfine-tuningが現在のpreferred mode周辺へ再崩壊するのを防ぐ。 - 8つのrule-derived intentsでend-to-end drivingに実装。

- WOD-E2E上で評価。 - 競合するVA/VLA SFTベースライン、最強priorのRAPと比較。 - best-of-N設定 (best-of-64, best-of-128) でRFSを測定。 - intent-CFG samplingがRFS 9.14 (best-of-128) を達成し、RAP 8.5とhuman-driven demonstration 8.13を上回ることを確認。 - multi-intent GRPOがheld-out RFSを7.681から8.211へ改善することを検証。

- preference RL on continuous-action policies trained from demonstrationsのボトルネックは、policyの更新方法だけでなく、最適化対象のsampling distributionを拡張・保持することにあると示唆。 - 単一demonstration由来のmode collapseがbest-of-N性能の上限を規定し、oracle selectionでもsampling distributionに含まれないものは回復できないと指摘。 - 具体的な限界や失敗事例、計算コストなどの議論は要旨からは不明。

- RAP (最強priorとして比較) - Vision-to-Action (VA) SFTベースライン - Vision-Language-Action (VLA) SFTベースライン - GRPO (multi-intent GRPOの基盤手法) - classifier-free guidance (CFG) - flow-matching action head - WOD-E2E (評価データセット)