日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

SLAM/ニューラルレンダリングarXiv:2504.13713

SLAM&Render: ニューラルレンダリング・ガウシアンスプラッティング・SLAMの交差点のためのベンチマーク

SLAM&Render: A Benchmark for the Intersection Between Neural Rendering, Gaussian Splatting and SLAM

シェア:XThreadsFacebookLINEはてブBluesky

ロボットマニピュレータで収録した時系列同期RGB-D・IMU・ロボット運動学・正解姿勢を含む40シーケンスのデータセットを提案し、SLAMとニューラルレンダリングの交差領域の手法を評価可能にした。

詳しい要約

1. どんなもの?

- SLAM&Render は、SLAM と Novel View Synthesis/Scene Rendering(NeRF や Gaussian Splatting)の交差領域をベンチマークするための新規データセット。 - robot manipulator で記録され、40 シーケンスを含む。 - 各シーケンスは time-synchronized な RGB-D 画像、IMU readings、robot kinematic data、ground-truth pose streams を備える。 - 5 つの setup、consumer/industrial objects、4 つの制御された lighting conditions を含み、train/test trajectories が分かれている。 - 全シーケンスは static で、object rearrangements と occlusions のレベルが異なる。

2. 先行研究と比べてどこがすごい?

- 既存データセットは SLAM と neural rendering 両分野の課題(sequential operations、SLAM の multi-modality、neural rendering の viewpoint/illumination generalization など)を十分に含んでいない。 - 既存データは handheld、drone、mobile robot 上のセンサで収集されることが多く、sensor motion の正確な再現が難しい。 - SLAM&Render は robot manipulator で記録され、正確な再現性と time-synchronized な複数モダリティを提供する点が異なる。 - robot kinematic data を公開することで、SLAM paradigms の robotic applications への統合評価を可能にする。

3. 技術・手法の肝は?

- robot manipulator を用いてデータを収集し、正確な sensor motion を再現可能にする。 - time-synchronized な RGB-D images、IMU readings、robot kinematic data、ground-truth pose streams を記録。 - 5 setups、consumer/industrial objects、4 つの controlled lighting conditions を設定。 - 各 setup で separate training and test trajectories を用意。 - static sequences で object rearrangements と occlusions のレベルを変化させる。

4. どうやって有効だと検証した?

- 文献の複数の baselines を用いた実験結果を報告。 - その結果により、SLAM&Render がこの emerging research area の relevant benchmark であることを検証。 - 具体的な baselines の名称や評価指標は要旨からは不明。

5. 議論はある?

- 既存データセットの課題として、sequential operations や multi-modality、viewpoint/illumination generalization の不足を指摘。 - handheld/drone/mobile robot によるデータ収集は sensor motion の正確な再現を難しくするという議論。 - robot kinematic data の公開が SLAM と robotic applications の統合評価に資するという位置づけ。 - 具体的な限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- NeRF(Neural Radiance Fields) - Gaussian Splatting - SLAM(Simultaneous Localization and Mapping) - Novel View Synthesis - 要旨で参照/比較されている個別の既存データセットや baseline 名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samuel Cerezo, Gaetano Meli, Tomás Berriel Martins, Kirill Safronov, Javier Civera

分類: cs.RO, cs.CV

原文アブストラクト

Models and methods originally developed for Novel View Synthesis and Scene Rendering, such as Neural Radiance Fields (NeRF) and Gaussian Splatting, are increasingly being adopted as representations in Simultaneous Localization and Mapping (SLAM). However, existing datasets fail to include the specific challenges of both fields, such as sequential operations and, in many settings, multi-modality in SLAM or generalization across viewpoints and illumination conditions in neural rendering. Additionally, the data are often collected using sensors which are handheld or mounted on drones or mobile robots, which complicates the accurate reproduction of sensor motions. To bridge these gaps, we introduce SLAM&Render, a novel dataset designed to benchmark methods in the intersection between SLAM, Novel View Rendering and Gaussian Splatting. Recorded with a robot manipulator, it uniquely includes 40 sequences with time-synchronized RGB-D images, IMU readings, robot kinematic data, and ground-truth pose streams. By releasing robot kinematic data, the dataset also enables the assessment of recent integrations of SLAM paradigms within robotic applications. The dataset features five setups with consumer and industrial objects under four controlled lighting conditions, each with separate training and test trajectories. All sequences are static with different levels of object rearrangements and occlusions. Our experimental results, obtained with several baselines from the literature, validate SLAM&Render as a relevant benchmark for this emerging research area.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI