日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自己教師あり学習/3D認識arXiv:2607.10762

TOLiD: 視覚基盤モデルからLiDAR事前学習へのアーキテクチャギャップをトークンリフティング蒸留で橋渡しする手法

TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation

シェア:XThreadsFacebookLINEはてブBluesky

視覚基盤モデル(VFM)の特徴をLiDARバックボーンへ蒸留する自己教師あり事前学習法TOLiDを提案。点群をパッチトークン化し、トークン単位の蒸留と可視性マスクでモダリティ・アーキテクチャのギャップを解消する。

詳しい要約

1. どんなもの?

TOLiDは、Vision Foundation Models (VFMs)からLiDARバックボーンへの自己教師あり事前学習手法である。LiDARバックボーンを、凍結されたVFM教師から初期化された学生Vision Transformer (ViT)と結合し、互換性のあるパッチトークン表現に対して蒸留を行う。Frustum PoolingとFrustum Attentionを用いて各画像パッチの錐台内の点特徴をトークンに変換し、可視性マスキングを伴うトークンレベルの蒸留を実施する。LiDARのみの展開時には、マスク付きバイリニアサンプリングを用いてトークン特徴を点単位表現に戻す。

2. 先行研究と比べてどこがすごい?

既存のクロスモーダル蒸留は、VFMを凍結した特徴源として扱い、異種の3Dバックボーンを固定画像埋め込みに一致するよう訓練するため、モダリティギャップに加えて、密なViTトークン表現と疎な3Dエンコーダ間のアーキテクチャギャップも埋める必要があった。TOLiDは、学生ViTを導入し、互換性のあるパッチトークン表現で蒸留することで、このアーキテクチャギャップを明示的に橋渡しする点が新しい。

3. 技術・手法の肝は?

手法の核は、(1) LiDARバックボーンと学生ViTを結合し、凍結VFM教師から初期化すること、(2) Frustum PoolingとFrustum Attentionを用いて、各画像パッチの錐台内の点特徴をトークンに変換すること、(3) 可視性マスキングを伴うトークンレベルの蒸留を適用すること、(4) LiDARのみの展開時には、マスク付きバイリニアサンプリングを用いてトークン特徴を点単位表現に戻すこと。

4. どうやって有効だと検証した?

5つの異種LiDARデータセットと4つのクロスセンサー適応ペアで広範に評価し、凍結バックボーンと軽量ヘッドを用いた場合の転移性能の向上を示した。

5. 議論はある?

要旨からは、アーキテクチャギャップの橋渡しに焦点を当てているが、計算コストや、異なるセンサー構成への一般化の限界、教師VFMの選択による影響などについては不明。また、提案手法が他の自己教師学習手法と比較してどの程度の利点があるかは、要旨の記述からは限定的である。

6. 次に読むべき論文は?

要旨で参照されているVision Foundation Models (VFMs)やクロスモーダル蒸留に関する研究、およびFrustum PoolingやFrustum Attentionの関連手法。具体的には、VFMの代表例であるDINOv2やCLIP、LiDAR事前学習の手法であるSLIMやSEALなどが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sutharsan Mahendran, Darshana Priyasad, Kaushik Roy, Tharindu Fernando, Sridha Sridharan, Clinton Fookes, Peyman Moghadam

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Cross-modal distillation from Vision Foundation Models (VFMs) to LiDAR backbones has recently emerged as a self-supervised pretraining strategy that reduces reliance on dense point-wise annotation for 3D scene understanding. However, existing distillation pipelines typically treat the VFM as a frozen feature source and train a heterogeneous 3D backbone to match fixed image embeddings, forcing the student to bridge both the modality gap and the cross-architecture gap between dense ViT token representations and sparse 3D encoders. We propose TOLiD, a self-supervised pretraining method for LiDAR representation learning that addresses this gap by coupling a LiDAR backbone with a student Vision Transformer (ViT) initialized from a frozen VFM teacher and applying supervision over compatible patch-token representations. TOLiD converts the set of point features within each image patch frustum into a token using Frustum Pooling followed by Frustum Attention, and performs token-level distillation with visibility masking. For LiDAR-only deployment, we lift token features back to per-point representations using masked bilinear sampling to avoid patches that have limited LiDAR points. We extensively evaluate TOLiD on five heterogeneous LiDAR datasets and four cross-sensor adaptation pairs, demonstrating improved transfer with frozen backbones and lightweight heads.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI