日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/世界モデル/強化学習arXiv:2512.19133

WorldRFT: 強化学習ファインチューニングによる潜在世界モデル計画法

WorldRFT: Latent World Model Planning with Reinforcement Fine-Tuning for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けに、シーン表現学習を計画タスクに整合させる階層的計画分解と局所的な反復改善を導入し、GRPOによる強化学習ファインチューニングで安全性を高めた潜在世界モデルフレームワークを提案。nuScenesとNavSimでSOTA性能を達成。

詳しい要約

1. どんなもの?

- 自動運転向けの planning-oriented な latent world model フレームワーク WorldRFT を提案 - 時系列自己教師あり学習による latent world model でシーン表現を学習し、perception annotation 不要の end-to-end 自動運転を目指す - hierarchical planning decomposition と local-aware interactive refinement で表現学習を planning に整合させる - reinforcement learning fine-tuning (RFT) により safety-critical な policy 性能を強化 - open-loop nuScenes と closed-loop NavSim で SOTA を報告

2. 先行研究と比べてどこがすごい?

- 従来の latent world model は reconstruction-oriented な表現学習のため perception と planning が絡み合い、planning 最適化が不十分だった - WorldRFT は planning-oriented に表現学習を再設計し、planning タスクに整合させる点が新しい - vision-geometry foundation model を統合し 3D spatial awareness を改善 - GRPO による RFT を導入し safety を系統的に改善 - nuScenes で collision rate を 83% 削減 (0.30% -> 0.05%) - NavSim で camera-only ながら LiDAR-based SOTA の DiffusionDrive に匹敵 (87.8 vs. 88.1 PDMS)

3. 技術・手法の肝は?

- latent world model による temporal self-supervised なシーン表現学習を基盤とする - vision-geometry foundation model を統合し 3D spatial awareness を強化 - hierarchical planning task decomposition で表現最適化を planning 指向に誘導 - local-aware iterative refinement により driving policy を導出 - Group Relative Policy Optimization (GRPO) を導入 - trajectory Gaussianization と collision-aware rewards で driving policy を fine-tune - safety を系統的に改善

4. どうやって有効だと検証した?

- open-loop の nuScenes と closed-loop の NavSim の両ベンチマークで評価 - nuScenes で collision rate を 0.30% から 0.05% へ 83% 削減 - NavSim で camera-only 入力ながら PDMS 87.8 を達成し、LiDAR-based SOTA の DiffusionDrive (88.1) と競合 - 両ベンチマークで SOTA 性能を報告

5. 議論はある?

- reconstruction-oriented な表現学習が planning と絡み合う問題を planning-oriented 設計で緩和できることを示唆 - RFT (GRPO) が safety-critical な policy 性能向上に有効である可能性 - camera-only で LiDAR-based 手法に匹敵する結果は sensor 構成の議論に関わる - 具体的な限界・失敗事例・計算コスト・一般化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- DiffusionDrive (NavSim で比較されている LiDAR-based SOTA) - Group Relative Policy Optimization (GRPO) の原論文 - latent world model を用いた end-to-end 自動運転の関連研究 - nuScenes / NavSim ベンチマークの代表的 planning 手法 - vision-geometry foundation model の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengxuan Yang, Ben Lu, Zhongpu Xia, Chao Han, Yinfeng Gao, Teng Zhang, Kun Zhan, XianPeng Lang, Yupeng Zheng, Qichao Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Latent World Models enhance scene representation through temporal self-supervised learning, presenting a perception annotation-free paradigm for end-to-end autonomous driving. However, the reconstruction-oriented representation learning tangles perception with planning tasks, leading to suboptimal optimization for planning. To address this challenge, we propose WorldRFT, a planning-oriented latent world model framework that aligns scene representation learning with planning via a hierarchical planning decomposition and local-aware interactive refinement mechanism, augmented by reinforcement learning fine-tuning (RFT) to enhance safety-critical policy performance. Specifically, WorldRFT integrates a vision-geometry foundation model to improve 3D spatial awareness, employs hierarchical planning task decomposition to guide representation optimization, and utilizes local-aware iterative refinement to derive a planning-oriented driving policy. Furthermore, we introduce Group Relative Policy Optimization (GRPO), which applies trajectory Gaussianization and collision-aware rewards to fine-tune the driving policy, yielding systematic improvements in safety. WorldRFT achieves state-of-the-art (SOTA) performance on both open-loop nuScenes and closed-loop NavSim benchmarks. On nuScenes, it reduces collision rates by 83% (0.30% -> 0.05%). On NavSim, using camera-only sensors input, it attains competitive performance with the LiDAR-based SOTA method DiffusionDrive (87.8 vs. 88.1 PDMS).

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI