日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/強化学習arXiv:2506.03568

信頼度誘導による人間-AI協調:自動運転のための分布型代理価値伝播を用いた強化学習

Confidence-Guided Human-AI Collaboration: Reinforcement Learning with Distributional Proxy Value Propagation for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転において、人間の介入を最小限に抑えつつ、分布型強化学習と信頼度に基づく共有制御で人間ガイド方策と自己学習方策を動的に切り替える協調手法を提案した。

詳しい要約

1. どんなもの?

- 自動運転のための confidence-guided human-AI collaboration (C-HAC) 戦略を提案する論文 - reinforcement learning と imitation learning が抱える safe-exploration と distribution-shift の課題に対処 - 人間の介入コストを抑えつつ、人間ガイド方策と自己学習方策を組み合わせる枠組み - distributional soft actor-critic (DSAC) を基盤とする

2. 先行研究と比べてどこがすごい?

- 従来の human-AI collaboration は大量の人間介入に依存し、コスト増と効率低下を招いていた - C-HAC は最小限の人間インタラクションで人間ガイド方策を急速かつ安定的に学習 - 自己学習方策との shared control により人間ガイダンスを超えた性能向上を目指す - 多様な運転シナリオで従来手法を safety・efficiency・overall performance で大きく上回り state-of-the-art を達成と主張

3. 技術・手法の肝は?

- distributional proxy value propagation を DSAC フレームワーク内で用いる - return distributions で人間の意図を表現し、人間ガイド方策を効率的に学習 - shared control mechanism で人間ガイド方策と累積報酬最大化の自己学習方策を統合 - policy confidence evaluation algorithm が DSAC の return distribution networks を活用 - confidence-based intervention function により人間ガイド方策と自己学習方策を動的に切替

4. どうやって有効だと検証した?

- 多様な driving scenarios での実験を実施 - safety・efficiency・overall performance の観点で従来手法と比較し優位性を確認 - 複雑な交通条件下での real-world road tests でも有効性を検証 - 動画とコードを https://github.com/lzqw/C-HAC で公開

5. 議論はある?

- 人間介入の削減と安全性・性能保証の両立を狙う設計だが、具体的な限界や失敗事例は要旨からは不明 - confidence-based intervention function の閾値設計や安全性保証の詳細は要旨からは不明 - real-world road tests の規模・条件の詳細は要旨からは不明

6. 次に読むべき論文は?

- distributional soft actor-critic (DSAC) - distributional proxy value propagation - human-AI collaboration を用いた autonomous driving の強化学習研究 - imitation learning と reinforcement learning の distribution-shift 対策研究 - shared control / shared autonomy に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Li Zeqiao, Wang Yijing, Wang Haoyu, Li Zheng, Li Peng, Zuo zhiqiang, Hu Chuan

分類: cs.RO, cs.AI

原文アブストラクト

Autonomous driving promises significant advancements in mobility, road safety and traffic efficiency, yet reinforcement learning and imitation learning face safe-exploration and distribution-shift challenges. Although human-AI collaboration alleviates these issues, it often relies heavily on extensive human intervention, which increases costs and reduces efficiency. This paper develops a confidence-guided human-AI collaboration (C-HAC) strategy to overcome these limitations. First, C-HAC employs a distributional proxy value propagation method within the distributional soft actor-critic (DSAC) framework. By leveraging return distributions to represent human intentions C-HAC achieves rapid and stable learning of human-guided policies with minimal human interaction. Subsequently, a shared control mechanism is activated to integrate the learned human-guided policy with a self-learning policy that maximizes cumulative rewards. This enables the agent to explore independently and continuously enhance its performance beyond human guidance. Finally, a policy confidence evaluation algorithm capitalizes on DSAC's return distribution networks to facilitate dynamic switching between human-guided and self-learning policies via a confidence-based intervention function. This ensures the agent can pursue optimal policies while maintaining safety and performance guarantees. Extensive experiments across diverse driving scenarios reveal that C-HAC significantly outperforms conventional methods in terms of safety, efficiency, and overall performance, achieving state-of-the-art results. The effectiveness of the proposed method is further validated through real-world road tests in complex traffic conditions. The videos and code are available at: https://github.com/lzqw/C-HAC.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI