日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2607.09138

BeyondSight: エンドツーエンド自動運転のための物体永続性

BeyondSight: Object Permanence for End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転において、長時間遮蔽されたアクターの存在を維持する永続性を考慮したエンドツーエンド駆動フレームワークを提案し、遮蔽下での認識・予測・計画性能を向上させた。

詳しい要約

1. どんなもの?

BeyondSightは、部分観測環境下の自動運転において、完全に遮蔽されたアクター(他車両やインフラに隠れた歩行者など)の存在を永続的に仮定する、object permanence(物体恒久性)を導入したエンドツーエンド運転フレームワークである。従来のエンドツーエンドシステムはアクターの存在を瞬間的な観測に暗に結びつけており、長時間の遮蔽中にアクター仮説が劣化・消失する問題があった。BeyondSightは、アクターの存在を観測可能性から切り離し、時間的にアクタークエリを伝播させ、観測条件付きの証拠で更新することで、一時的に観測不能なアクターについても推論を可能にする。また、永続性を考慮したモデルの訓練と評価を可能にするため、nuScenesを拡張したnuScenes-Permanenceデータセットも導入している。

2. 先行研究と比べてどこがすごい?

先行研究のエンドツーエンド運転システム(例:UniAD、VADなど)は、アクターの存在を現在の観測に依存させており、遮蔽が長引くとアクターの検出が失敗し、下流の予測・計画に悪影響を及ぼす。BeyondSightは、アクターの存在を観測可能性から分離し、永続的なアクター仮説を維持することで、遮蔽下でもアクターを追跡・推論できる点が新しい。また、遮蔽されたアクターに対する教師信号と評価指標を提供するnuScenes-Permanenceを導入した点も独自性が高い。

3. 技術・手法の肝は?

手法の核は、アクタークエリを時間的に伝播させ、観測条件付きの証拠で更新する永続的アクター仮説の維持である。具体的には、エンドツーエンドのフレームワーク内で、perception、prediction、planningを統合し、アクターが一時的に観測不能でもクエリを保持し続ける。訓練時には、nuScenes-Permanenceが遮蔽されたアクターに対する教師信号を提供し、観測可能性に基づく評価を可能にする。

4. どうやって有効だと検証した?

nuScenesデータセットに基づくnuScenes-Permanence拡張を用いて評価した。実験では、遮蔽されたアクターの検出性能がmAP 0から0.249に向上し、計画誤差がL2avg 0.61から0.54に低減した。これにより、object permanenceがエンドツーエンド自動運転の堅牢性に寄与することを示した。

5. 議論はある?

要旨からは、提案手法の限界や議論点は明示されていない。ただし、nuScenes-Permanenceはシミュレーションや特定のデータセットに基づくため、実世界の多様な遮蔽シナリオへの一般化については追加の検証が必要かもしれない。また、永続的アクター仮説が誤った場合のリスク(例:存在しないアクターを維持し続ける)についての議論は要旨にはない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、エンドツーエンド自動運転のベースライン(例:UniAD、VAD)や、nuScenesデータセットを用いた研究が挙げられる。また、object permanenceの概念はコンピュータビジョンの追跡タスクにも関連するため、多物体追跡(MOT)やビデオオブジェクトセグメンテーションの研究も参考になると考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sandro Papais, Letian Wang, Mudit Jain, Behnaz Rezaei, Steven L. Waslander

分類: cs.RO

原文アブストラクト

Autonomous driving operates in partially observable environments where actors may become fully occluded by other vehicles or infrastructure. Most end-to-end driving systems implicitly couple actor existence to instantaneous observations, causing actor hypotheses to degrade or disappear during prolonged occlusion and removing potentially critical agents from downstream prediction and planning. We introduce BeyondSight, a permanence-aware end-to-end driving framework that decouples actor existence from observability by maintaining persistent actor hypotheses over time. BeyondSight propagates actor queries temporally and updates them with observation-conditioned evidence, enabling joint perception, prediction, and planning to reason about actors even when they are temporarily unobservable. To enable principled training and evaluation of persistence-aware models, we further introduce nuScenes-Permanence, an extension of nuScenes that provides supervision and observability-conditioned evaluation for unobservable actors. Experiments show that BeyondSight substantially improves reasoning under occlusion, increasing detection performance for unobservable actors from 0 to 0.249 mAP while reducing planning error from 0.61 to 0.54 L2avg. These results highlight object permanence as an important modeling principle for robust end-to-end autonomous driving.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI