日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

非視線知覚arXiv:2604.16201

DENALI: 低コストLiDARによる非視線空間推論を可能にするデータセット

DENALI: A Dataset Enabling Non-Line-of-Sight Spatial Reasoning with Low-Cost LiDARs

シェア:XThreadsFacebookLINEはてブBluesky

消費者向けLiDARの内部記録である時空間ヒストグラムを用いて、隠れた物体の認識をデータ駆動で行うための大規模実世界データセットDENALIを構築し、低コストLiDARでの非視線知覚の可能性を示した。

詳しい要約

1. どんなもの?

- 低コストLiDARを用いたNLOS知覚のための大規模実世界データセットDENALIを提案。 - モバイル機器やロボットの消費者向けLiDARは通常1ピクセル1深度値だが、内部では時間分解ヒストグラムを記録し、マルチバウンス戻り光が隠れた物体のNLOS手がかりを含む。 - DENALIは低コストLiDARから取得した時空間ヒストグラムの初の大規模実世界データセットで、72,000の隠れた物体シーンを多様な形状・位置・照明・空間解像度で収録。 - データ駆動型推論により、消費者向けLiDARでも正確なNLOS知覚が可能であることを示す。

2. 先行研究と比べてどこがすごい?

- 従来のNLOS再構成は高価な計測装置を前提とし、消費者向けLiDARのハードウェア制約下では困難。 - 本研究は従来とは補完的な方向として、低コストLiDARとデータ駆動型推論によるNLOS知覚を動機づけ。 - 初の大規模実世界データセットを構築し、消費者向けLiDARでのNLOS知覚の可能性を実証。 - 性能を制限するシーン・モデリング要因やsim-to-real転移を妨げるシミュレーション忠実度ギャップを特定。

3. 技術・手法の肝は?

- 低コストLiDARから時間分解ヒストグラムを取得し、直接・マルチバウンス戻り光を含む時空間データを収集。 - 72,000の隠れた物体シーンを多様な物体形状、位置、照明条件、空間解像度でキャプチャ。 - データ駆動型推論によりNLOS知覚を実現。 - 性能を制限するシーンおよびモデリング要因を分析。 - シミュレーションと実世界のギャップ(sim-to-real transfer)を評価。

4. どうやって有効だと検証した?

- DENALIデータセットを用いて、消費者向けLiDARが正確なデータ駆動型NLOS知覚を可能にすることを示した。 - 性能を制限する主要なシーンおよびモデリング要因を特定。 - 現在のsim-to-real転移を妨げるシミュレーション忠実度ギャップを明らかにした。 - 具体的な評価指標やベースライン比較は要旨からは不明。

5. 議論はある?

- 消費者向けLiDARのハードウェア制約が従来手法でのNLOS再構成を困難にする点を議論。 - データ駆動型推論が補完的アプローチとして有望であることを示す。 - 性能限界要因とsim-to-realギャップを特定し、消費者向けLiDARによるスケーラブルなNLOSビジョンに向けた今後の課題を提起。 - 具体的な限界や倫理的影響は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、従来のNLOS再構成(例:time-resolved imaging, transient imaging)やsim-to-real transferの研究が挙げられる。 - 同分野の定番として、NLOS imagingやLiDAR-based perceptionの論文を読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikhil Behari, Diego Rivero, Luke Apostolides, Suman Ghosh, Paul Pu Liang, Ramesh Raskar

分類: cs.RO, cs.CV

原文アブストラクト

Consumer LiDARs in mobile devices and robots typically output a single depth value per pixel. Yet internally, they record full time-resolved histograms containing direct and multi-bounce light returns; these multi-bounce returns encode rich non-line-of-sight (NLOS) cues that can enable perception of hidden objects in a scene. However, severe hardware limitations of consumer LiDARs make NLOS reconstruction with conventional methods difficult. In this work, we motivate a complementary direction: enabling NLOS perception with low-cost LiDARs through data-driven inference. We present DENALI, the first large-scale real-world dataset of space-time histograms from low-cost LiDARs capturing hidden objects. We capture time-resolved LiDAR histograms for 72,000 hidden-object scenes across diverse object shapes, positions, lighting conditions, and spatial resolutions. Using our dataset, we show that consumer LiDARs can enable accurate, data-driven NLOS perception. We further identify key scene and modeling factors that limit performance, as well as simulation-fidelity gaps that hinder current sim-to-real transfer, motivating future work toward scalable NLOS vision with consumer LiDARs.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI