日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット知覚arXiv:2611.17438

実時間拡散リライティングを神経センサとして用いたロボット知覚の低照度ドメインギャップ解消

Real-Time Diffusion Relighting as a Neural Sensor: Closing the Low-Light Domain Gap for Robotic Perception

シェア:XThreadsFacebookLINEはてブBluesky

照明を生成事前分布として扱う拡散モデルを制御ループ内に組み込み、検出信頼度低下時のみ背景スレッドで起動する実時間知覚アーキテクチャを提案。ExDarkで87.1% mAP、CARLAナビゲーションで100%周回達成。

詳しい要約

1. どんなもの?

- 低照度環境でのロボティクス知覚を改善する枠組みを提案する研究。 - 照明を信号処理問題ではなく生成的な prior として扱う Generative Neural Sensor を制御ループ内に組み込む。 - 大規模 image-to-image diffusion model を背景スレッドで走らせる Real-Time Perceptual Architecture を提案。 - 検出信頼度の低下を perceptual uncertainty event として捉え、その時のみモデルを起動する。 - ExDark benchmark や CARLA の navigation task で評価。

2. 先行研究と比べてどこがすごい?

- 既存の LLIE は offline 処理前提で live control loop への統合が非現実的だった。 - 本研究は LLIE を制御ループ内の generative prior として再定式化する点が異なる。 - 高遅延の意味回復と低遅延のロボット制御を分離する設計を導入。 - ExDark で 87.1% mAP の state-of-the-art を達成。 - 悪天候下でも競合手法より検出率を大幅改善。 - CARLA の closed-loop navigation で 100% lap completion rate を達成。

3. 技術・手法の肝は?

- Generative Neural Sensor を制御ループに埋め込み、照明を generative prior として扱う。 - 大規模 image-to-image diffusion model を background thread で実行。 - 検出信頼度の低下を perceptual uncertainty event として検知し、その時のみ起動。 - Real-Time Perceptual Architecture により高遅延の semantic recovery と低遅延の robotic control を分離。 - 制御ループをブロックせずに生成モデルを活用する構成。

4. どうやって有効だと検証した?

- ExDark low-light benchmark で 87.1% mAP を達成し state-of-the-art を更新。 - 悪天候条件下で競合手法と比較し検出率の大幅改善を確認。 - closed-loop autonomous driving simulator (CARLA) の navigation task で 100% lap completion rate を達成。 - 高遅延生成モデルと標準的ロボティクス制御スタックの統合に関する simulation-based proof-of-concept を提示。

5. 議論はある?

- 計算オーバーヘッドを uncertainty event 起動により大幅削減できると主張。 - 高遅延生成モデルと制御の分離が実運用上の鍵となる設計。 - 有効性は CARLA 上の simulation-based proof-of-concept であり、実機検証は要旨からは不明。 - 悪天候条件の詳細や限界については要旨からは不明。

6. 次に読むべき論文は?

- ExDark benchmark に関する先行 LLIE 研究。 - image-to-image diffusion model を用いた低照度強調・relighting 手法。 - CARLA を用いた closed-loop autonomous driving 研究。 - ロボティクス知覚における uncertainty-aware な制御・検出信頼度ベースのトリガ設計に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shengjie Xu, Alexander Gao, Anshul Rai, Dae Yeol Lee, Guan-Ming Su, Ming C. Lin

分類: cs.CV

原文アブストラクト

Low-light conditions severely degrade robotic perception: object detectors trained on daylight imagery are prone to failure under dark and adverse weather conditions that fall outside of their training distribution. Furthermore, from an efficiency standpoint, existing Low-Light Image Enhancement (LLIE) methods are designed for offline processing and are therefore impractical to integrate into live control loops. To address these issues, we propose to embed a Generative Neural Sensor within the control loop that treats illumination as a generative prior rather than a signal processing problem, enabling task-relevant semantic recovery. We further propose an Real-Time Perceptual Architecture that decouples high-latency semantic recovery from low-latency robotic control. Rather than blocking the control loop, our system runs a large-scale image-to-image diffusion model in a background thread, and is activated only when a drop in detection confidence signals a perceptual uncertainty event, significantly reducing computational overhead. Our method sets a new state-of-the-art performance on the ExDark low-light benchmark with 87.1% mAP, and under adverse weather conditions, significantly boosts detection rates over competing methods. On a navigation task in a closed-loop autonomous driving simulator (CARLA), we achieve a 100% lap completion rate, establishing a simulation-based proof-of-concept for integrating high-latency generative models with standard robotic control autonomy stacks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI