日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.00359

蒸留とRGB-D Transformerによる高密度視覚埋め込みの効率的予測

Efficient Prediction of Dense Visual Embeddings via Distillation and RGB-D Transformers

シェア:XThreadsFacebookLINEはてブBluesky

Alpha-CLIPの教師埋め込みを蒸留し、RGB-D画像からピクセル単位のテキスト対応視覚埋め込みをリアルタイムで予測するDVEFormerを提案。

詳しい要約

1. どんなもの?

- 家庭環境でロボットが周囲を理解するため、密なテキスト整合視覚埋め込み(DVE)を予測する効率的なRGB-D Transformerベースの手法「DVEFormer」を提案。 - 従来の固定クラスによるセマンティックセグメンテーションではなく、Alpha-CLIPの教師埋め込みを知識蒸留で学生モデルに学習させ、ピクセル単位の細かい埋め込みを生成。 - 線形プロービングによるセグメンテーションやテキストベースのクエリ、3Dマップ作成などに応用可能。

2. 先行研究と比べてどこがすごい?

- 従来のセマンティックセグメンテーションは固定クラスに限定されるが、本手法はテキスト整合埋め込みを予測することで柔軟な自然言語クエリを可能にする。 - 知識蒸留により効率的な学生モデルを実現し、リアルタイム性能(フルモデル26.3 FPS、小型版77.0 FPS on NVIDIA Jetson AGX Orin)を達成。 - 従来のセグメンテーション手法のドロップイン代替として機能しつつ、3Dマッピングパイプラインへの統合も容易。

3. 技術・手法の肝は?

- RGB-D Transformerベースの学生モデルDVEFormerを設計。 - Alpha-CLIPの教師埋め込みを知識蒸留により学生モデルに転移し、密なテキスト整合視覚埋め込みを学習。 - ピクセル単位の埋め込みを予測することで、線形プロービングによるセグメンテーションやテキストクエリ、3Dマップ生成を可能にする。

4. どうやって有効だと検証した?

- 一般的な屋内データセットで評価し、競争力のある性能を確認。 - リアルタイム要件を満たすことを示す(フルモデル26.3 FPS、小型版77.0 FPS on NVIDIA Jetson AGX Orin)。 - 実世界アプリケーションにおける有効性とユースケースを定性的結果で提示。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Alpha-CLIP(教師モデルとして参照) - 従来のセマンティックセグメンテーション手法(比較対象として一般名) - 知識蒸留を用いた効率的なTransformerモデル(関連手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Söhnke Benedikt Fischedick, Daniel Seichter, Benedict Stephan, Robin Schmidt, Horst-Michael Gross

分類: cs.CV, cs.RO

原文アブストラクト

In domestic environments, robots require a comprehensive understanding of their surroundings to interact effectively and intuitively with untrained humans. In this paper, we propose DVEFormer - an efficient RGB-D Transformer-based approach that predicts dense text-aligned visual embeddings (DVE) via knowledge distillation. Instead of directly performing classical semantic segmentation with fixed predefined classes, our method uses teacher embeddings from Alpha-CLIP to guide our efficient student model DVEFormer in learning fine-grained pixel-wise embeddings. While this approach still enables classical semantic segmentation, e.g., via linear probing, it further enables flexible text-based querying and other applications, such as creating comprehensive 3D maps. Evaluations on common indoor datasets demonstrate that our approach achieves competitive performance while meeting real-time requirements, operating at 26.3 FPS for the full model and 77.0 FPS for a smaller variant on an NVIDIA Jetson AGX Orin. Additionally, we show qualitative results that highlight the effectiveness and possible use cases in real-world applications. Overall, our method serves as a drop-in replacement for traditional segmentation approaches while enabling flexible natural-language querying and seamless integration into 3D mapping pipelines for mobile robotics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI