日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LiDAR生成arXiv:2508.03690

Veila: 単眼RGB画像からのパノラマLiDAR生成

Veila: Panoramic LiDAR Generation from a Monocular RGB Image

シェア:XThreadsFacebookLINEはてブBluesky

単眼RGB画像を条件として、拡散モデルによりパノラマLiDAR点群を生成するフレームワークを提案。信頼度に基づく条件付けと幾何学的整合性により、RGBとLiDARのモダリティギャップを克服する。

詳しい要約

1. どんなもの?

- 単眼 RGB 画像からパノラマ LiDAR データを生成する条件付き拡散フレームワーク Veila の提案 - 目的は autonomous driving / robotics 向けのスケーラブルで制御可能な 3D 知覚データ生成 - 空間制御信号として monocular RGB image を活用する新規設定に取り組む - 生成データによる generative data augmentation で下流の LiDAR semantic segmentation 改善も狙う

2. 先行研究と比べてどこがすごい?

- 既存手法は unconditional generation で制御性が低い、または text-guided synthesis で細粒度の空間制御が欠ける - Veila は monocular RGB image を空間制御信号として用いる点が新しい - 単眼 RGB 条件付けの 3 課題(空間的に変動する semantic/depth 手がかり、RGB と LiDAR の modality gap、非重複領域での構造一貫性)に対処 - nuScenes, SemanticKITTI, KITTI-Weather で SOTA の生成忠実度と cross-modal consistency を報告

3. 技術・手法の肝は?

- Confidence-Aware Conditioning Mechanism (CACM): semantic と depth の手がかりを局所的信頼度に応じて適応的に重み付けし RGB 条件付けを強化 - Geometric Cross-Modal Alignment (GCMA): ノイズの多い diffusion 下で RGB-LiDAR の頑健な位置合わせを実現 - Panoramic Feature Coherence (PFC): monocular RGB と panoramic LiDAR 間の大域的な構造一貫性を強制 - 新指標 Cross-Modal Semantic Consistency と Cross-Modal Depth Consistency を導入

4. どうやって有効だと検証した?

- nuScenes, SemanticKITTI, 提案の KITTI-Weather benchmark で実験 - 生成忠実度と cross-modal consistency で state-of-the-art を達成 - generative data augmentation により下流の LiDAR semantic segmentation が改善することを示す - 詳細な ablation や定量結果は要旨からは不明

5. 議論はある?

- RGB と LiDAR の modality gap や非重複領域での構造一貫性が主要な課題として議論 - 新指標により cross-modal の alignment 品質を評価する枠組みを提示 - 限界や失敗事例、計算コスト、他データセットへの汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- text-guided LiDAR synthesis の代表的手法(例: LiDAR 生成における text-conditioned diffusion) - unconditional LiDAR generation 手法 - nuScenes / SemanticKITTI を用いた LiDAR semantic segmentation の関連研究 - diffusion に基づく cross-modal alignment や conditional generation の一般手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youquan Liu, Lingdong Kong, Weidong Yang, Ao Liang, Jianxiong Gao, Yang Wu, Xiang Xu, Xin Li, Linfeng Li, Runnan Chen, Ben Fei

分類: cs.CV, cs.RO

原文アブストラクト

Realistic and controllable panoramic LiDAR data generation is critical for scalable 3D perception in autonomous driving and robotics. Existing methods either perform unconditional generation with poor controllability or adopt text-guided synthesis, which lacks fine-grained spatial control. Leveraging a monocular RGB image as a spatial control signal offers a scalable and low-cost alternative, which remains an open problem. However, it faces three core challenges: (i) semantic and depth cues from RGB are vary spatially, complicating reliable conditioning generation; (ii) modality gaps between RGB appearance and LiDAR geometry amplify alignment errors under noisy diffusion; and (iii) maintaining structural coherence between monocular RGB and panoramic LiDAR is challenging, particularly in non-overlap regions between images and LiDAR. To address these challenges, we propose Veila, a novel conditional diffusion framework that integrates: a Confidence-Aware Conditioning Mechanism (CACM) that strengthens RGB conditioning by adaptively balancing semantic and depth cues according to their local reliability; a Geometric Cross-Modal Alignment (GCMA) for robust RGB-LiDAR alignment under noisy diffusion; and a Panoramic Feature Coherence (PFC) for enforcing global structural consistency across monocular RGB and panoramic LiDAR. Additionally, we introduce two metrics, Cross-Modal Semantic Consistency and Cross-Modal Depth Consistency, to evaluate alignment quality across modalities. Experiments on nuScenes, SemanticKITTI, and our proposed KITTI-Weather benchmark demonstrate that Veila achieves state-of-the-art generation fidelity and cross-modal consistency, while enabling generative data augmentation that improves downstream LiDAR semantic segmentation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI