日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

点群表現学習arXiv:2607.00514

Cross4D-JEPA: 4D点群表現学習のための高密度クロスモーダル対応蒸留

Cross4D-JEPA: Dense Cross-modal Correspondence Distillation for 4D Point Cloud Representation Learning

シェア:XThreadsFacebookLINEはてブBluesky

動的な4D点群の自己教師あり表現学習において、2D基盤モデルの高密度なパッチ特徴を3D点ごとに蒸留する手法を提案し、複数のベンチマークで既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

Cross4D-JEPAは、動的な4D point cloud(時間的に変化する3D point cloud)の表現学習のための自己教師あり手法である。frozenな2D foundation model(DINOv2やV-JEPA 2)をteacherとし、4D point encoderをstudentとして蒸留する。各3D pointをteacherのpatch featureに対応付けるdense cross-modal correspondenceと、潜在空間で特徴を一致させるper-point objectiveを用いる。マスキングやネガティブ、デコーダを必要としない。

2. 先行研究と比べてどこがすごい?

既存のpretext taskはほぼintra-modalであり、2D foundation modelから知識を転送する数少ない手法もclipごとの単一のglobal embeddingに依存し、per-patch semanticsを捨てていた。Cross4D-JEPAはdenseなcross-modal correspondenceを導入し、各3D pointをteacherのpatch featureにマッピングすることで、より細かい意味情報を保持する点が新しい。

3. 技術・手法の肝は?

手法の核は、(1) 各3D pointをteacherのpatch featureに対応付けるdense cross-modal correspondenceの計算と、(2) 潜在空間でstudentがこれらの特徴を一致させるper-point objectiveである。teacherはfrozenで、マスキングやネガティブ、デコーダは使用しない。teacher-studentアーキテクチャを採用し、4D point encoderを学習する。

4. どうやって有効だと検証した?

MSR-Action3D、DeformingThings4D、NTU-RGB+D 60、HOI4Dの4つのベンチマークで評価した。intra-modalおよびglobal cross-modalのベースラインと比較し、一致したプロトコル下でCross4D-JEPAが一貫して優れていることを示した。また、より重い公開済みの4D手法と競合する性能を達成した。さらに、dense表現がドメイン間転移、ラベル効率、フルラベルfine-tuningの改善に寄与することを分析し、13倍小さいエンコーダがheavyweight pooling backboneに匹敵することを示した。

5. 議論はある?

性能向上は主にcorrespondenceの粒度(dense vs global)によるものであり、teacherのモダリティ(画像かビデオか)によるものではないと分析している。しかし、要旨からは、dense correspondenceの計算コストや、異なるteacherモデル間の比較詳細、実世界のノイズに対する頑健性などは不明である。

6. 次に読むべき論文は?

要旨で参照されているDINOv2やV-JEPA 2、また比較対象となっているintra-modalおよびglobal cross-modalのベースライン手法、公開済みの4D手法(具体的な名称は要旨にない)が挙げられる。次に読むべき論文としては、これらの関連研究が適切である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Trung Thanh Nguyen, Hai Nguyen-Truong, Tu Vo, Hoang M. Truong, Tuan-Anh Vu

分類: cs.CV, cs.AI

原文アブストラクト

Automatic understanding of dynamic 4D point clouds, the 3D-point sequences captured over time by depth sensors and LiDAR, is central to robotics and embodied perception. Yet annotating them densely is expensive, making self-supervised pretraining the natural route to transferable representations. Existing pretext tasks, however, are almost entirely intra-modal, and the few methods that transfer knowledge from 2D foundation models rely on a single global embedding per clip, discarding the rich per-patch semantics that these models compute. To address this gap, we propose Cross4D-JEPA, a teacher-student method that distills a frozen 2D foundation model, an image model DINOv2, or a video model V-JEPA 2, into a 4D point encoder. The proposed method combines (1) a dense cross-modal correspondence that maps every 3D point to the teacher patch feature it projects to, and (2) a per-point objective that trains the student to match these features in latent space with no masking, negatives, or decoder. We evaluate Cross4D-JEPA on four benchmarks, MSR-Action3D, DeformingThings4D, NTU-RGB+D 60, and HOI4D, against intra-modal and global cross-modal baselines. Experimental results show that, under a matched protocol, the proposed method consistently outperforms intra-modal and global cross-modal baselines across the four benchmarks and is competitive with heavier published 4D methods; further analysis attributes this gain primarily to the granularity of the correspondence rather than the teacher modality. Beyond recognition accuracy, the dense representation learned by Cross4D-JEPA transfers across domains, improves label efficiency, and improves full-label fine-tuning under the same training budget, while a 13x smaller encoder matches a heavyweight pooling backbone.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI