日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D占有予測/マルチセンサフュージョンarXiv:2602.06400

TFusionOcc: Tプリミティブベースの物体中心マルチセンサフュージョンによる3D占有予測

TFusionOcc: T-Primitive Based Object-Centric Multi-Sensor Fusion Framework for 3D Occupancy Prediction

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けの3D意味占有予測において、Studentのt分布に基づくTプリミティブ(変形可能なT超二次曲面など)を導入し、カメラとLiDARを密結合で融合する物体中心フレームワークを提案。nuScenesで最先端性能、nuScenes-Cで高い頑健性を示した。

詳しい要約

1. どんなもの?

- 3D semantic occupancy predictionのためのT-primitiveベースのobject-centric multi-sensor fusion frameworkであるTFusionOccを提案。 - 自動運転車(AVs)が細粒度の幾何・意味シーン構造を認識することを可能にする。 - 既存のvoxelベースやobject-centric Gaussian primitivesの限界を克服する。 - Students t-distributionベースのT-primitives (plain T-primitive, T-Superquadric, deformable T-Superquadric with inverse warping)を導入。 - 統一確率定式化と多段階fusion architectureでcameraとLiDARを統合。

2. 先行研究と比べてどこがすごい?

- 既存のvoxel-based representationsは空領域での冗長計算を招く。 - object-centric Gaussian primitivesは複雑・非凸・非対称構造のモデリングに限界がある。 - 提案手法はT-primitiveによりこれらの問題を解決し、nuScenesでstate-of-the-art性能を達成。 - nuScenes-Cで多くのcorruptionシナリオ下での堅牢性も示す。

3. 技術・手法の肝は?

- Students t-distributionベースのT-primitivesファミリーを導入。 - plain T-primitive, T-Superquadric, deformable T-Superquadric with inverse warpingを含む。 - deformable T-Superquadricが幾何強化の鍵となるprimitive。 - Students t-distributionとT-mixture model (TMM)に基づく統一確率定式化でoccupancyとsemanticsを共同モデリング。 - cameraとLiDARの手がかりを効果的に統合するtightly coupled multi-stage fusion architectureを設計。

4. どうやって有効だと検証した?

- nuScenesでの広範な実験でstate-of-the-art性能を達成。 - nuScenes-Cでの追加評価で多くのcorruptionシナリオ下での強い堅牢性を実証。 - コードはhttps://github.com/DanielMing123/TFusionOccで公開予定。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: voxel-based representations, object-centric Gaussian primitives。 - 関連手法: T-mixture model (TMM), Students t-distribution。 - データセット: nuScenes, nuScenes-C。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenxing Ming, Yaoqi Huang, Julie Stephany Berrio, Mao Shan, Stewart Worrall

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

The prediction of 3D semantic occupancy enables autonomous vehicles (AVs) to perceive the fine-grained geometric and semantic scene structure for safe navigation and decision-making. Existing methods mainly rely on either voxel-based representations, which incur redundant computation over empty regions, or on object-centric Gaussian primitives, which are limited in modeling complex, non-convex, and asymmetric structures. In this paper, we present TFusionOcc, a T-primitive-based object-centric multi-sensor fusion framework for 3D semantic occupancy prediction. Specifically, we introduce a family of Students t-distribution-based T-primitives, including the plain T-primitive, T-Superquadric, and deformable T-Superquadric with inverse warping, where the deformable T-Superquadric serves as the key geometry-enhancing primitive. We further develop a unified probabilistic formulation based on the Students t-distribution and the T-mixture model (TMM) to jointly model occupancy and semantics, and design a tightly coupled multi-stage fusion architecture to effectively integrate camera and LiDAR cues. Extensive experiments on nuScenes show state-of-the-art performance, while additional evaluations on nuScenes-C demonstrate strong robustness under most corruption scenarios. The code will be available at: https://github.com/DanielMing123/TFusionOcc

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI