日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

多タスク学習arXiv:2607.16012

DPNeXt: 効率的なViTベース多タスク高密度予測のための軽量マルチスケール特徴融合フレームワーク

DPNeXt: A Lightweight Multi-Scale Feature Fusion Framework for Efficient ViT-Based Multi-Task Dense Prediction

シェア:XThreadsFacebookLINEはてブBluesky

ロボット知覚における多タスク学習(セマンティックセグメンテーションと深度推定)のための、軽量で効率的なデコーダフレームワークDPNeXtを提案。凍結したVision Foundation Modelの特徴を融合中心のデコードとタスク別モジュール化で活用し、負の転移を抑える境界ガイダンス戦略を導入。

詳しい要約

1. どんなもの?

- ViTベースのMulti-Task Dense Prediction向けの軽量デコーダDPNeXtを提案。 - 対象タスクはsemantic segmentationとdepth estimation。 - 凍結したVision Foundation Models (VFMs)をエンコーダとして利用。 - 標準のDense Prediction Transformer (DPT)に代わる多スケール特徴融合デコーダ。 - 追加のMulti-Task Boundary Guidance (MTBG)戦略を導入。

2. 先行研究と比べてどこがすごい?

- 既存のデコーディング戦略がボトルネックである点を指摘。 - 従来のboundary-aware手法はfusion moduleやgatingを追加するが、MTBGは追加アノテーションや推論コストなしで対称的なboundary supervisionを適用。 - CityscapesでDPNeXt-Sが従来SOTA MTLモデルを上回り、DPNeXt-Bがさらに改善。 - NYUv2でもDPNeXt-Bが比較手法中で最高のsemantic segmentationとdepth estimationを達成。 - 標準DPT比でDPNeXt-Sはtrainable parametersを78.6%削減し、リソース制約のあるlaptop hardwareで最速推論。

3. 技術・手法の肝は?

- dual depthwise separable inverted bottlenecksを採用。 - fusion-centric decodingとindependent task modularizationにより凍結VFMの利用を改善。 - Multi-Task Boundary Guidance (MTBG)でタスク間のnegative inductive transferを緩和。 - MTBGは対称的なboundary-focused supervisionを適用し、幾何学的整合性を促す。 - 追加アノテーションや推論コストを必要としない。

4. どうやって有効だと検証した?

- CityscapesでDPNeXt-Sが従来SOTA MTLモデルを上回ることを確認。 - CityscapesでDPNeXt-Bが比較手法中最高の総合性能を達成。 - NYUv2でDPNeXt-Bが比較手法中最高のsemantic segmentationとdepth estimation結果を達成。 - 標準DPTと比較し、DPNeXt-Sがtrainable parametersを78.6%削減。 - リソース制約のあるlaptop hardwareで比較モデル中最速の推論速度を確認。

5. 議論はある?

- タスク間のnegative inductive transferの緩和が課題として挙げられている。 - 既存boundary-aware手法のfusion moduleやgating追加によるコスト増を問題視。 - MTBGは追加アノテーションや推論コストなしで幾何学的整合性を促す点が特徴。 - 大規模MTLモデルより大幅に少ないtrainable parametersで高性能を実現。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- Dense Prediction Transformer (DPT) - Vision Foundation Models (VFMs) - Multi-Task Learning (MTL) in dense prediction - boundary-aware multi-task learning手法 - CityscapesおよびNYUv2を用いたsemantic segmentationとdepth estimationの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jehun Kang, Jungha Wang, Youngjun Hwang, David Hyunchul Shim

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Multi-Task Learning (MTL) in robotics perception systems supports comprehensive 3D spatial scene understanding by integrating semantic segmentation and depth estimation. While Vision Foundation Models (VFMs) are increasingly adopted as robust feature encoders, existing decoding strategies present a critical bottleneck. To address this, we propose DPNeXt, a streamlined multi-scale feature fusion decoder and efficient alternative to the standard Dense Prediction Transformer (DPT). DPNeXt uses dual depthwise separable inverted bottlenecks to improve frozen VFM utilization through fusion-centric decoding and independent task modularization. To further mitigate negative inductive transfer between tasks, we introduce the Multi-Task Boundary Guidance (MTBG) strategy. Unlike prior boundary-aware methods that add fusion modules or gating, MTBG applies symmetric boundary-focused supervision to encourage geometric consistency without extra annotation or inference cost. Experiments on Cityscapes show that DPNeXt-S outperforms prior state-of-the-art (SOTA) MTL models, while DPNeXt-B further improves the overall performance and achieves the best results among the compared methods. On NYUv2, DPNeXt-B also achieves the best semantic segmentation and depth estimation results among the compared methods while requiring substantially fewer trainable parameters than prior large-scale MTL models. Compared with the standard DPT, DPNeXt-S reduces trainable parameters by 78.6% and achieves the fastest inference speed among the compared models on resource-constrained laptop hardware. The source code, model checkpoints, and a demo video will be made available at https://github.com/kangjehun/DPNeXt.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI