M2H: 単眼空間知覚のための効率的なウィンドウベースクロスタスク注意を用いたマルチタスク学習
M2H: Multi-Task Learning with Efficient Window-Based Cross-Task Attention for Monocular Spatial Perception
単眼画像からセマンティックセグメンテーション・深度・エッジ・表面法線を同時推定する軽量マルチタスク学習フレームワークM2Hを提案し、ウィンドウベースのクロスタスク注意でタスク間の特徴交換を効率化した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: U. V. B. L Udugama, George Vosselman, Francesco Nex
分類: cs.CV, cs.LG, cs.RO
原文アブストラクト
Deploying real-time spatial perception on edge devices requires efficient multi-task models that leverage complementary task information while minimizing computational overhead. This paper introduces Multi-Mono-Hydra (M2H), a novel multi-task learning framework designed for semantic segmentation and depth, edge, and surface normal estimation from a single monocular image. Unlike conventional approaches that rely on independent single-task models or shared encoder-decoder architectures, M2H introduces a Window-Based Cross-Task Attention Module that enables structured feature exchange while preserving task-specific details, improving prediction consistency across tasks. Built on a lightweight ViT-based DINOv2 backbone, M2H is optimized for real-time deployment and serves as the foundation for monocular spatial perception systems supporting 3D scene graph construction in dynamic environments. Comprehensive evaluations show that M2H outperforms state-of-the-art multi-task models on NYUDv2, surpasses single-task depth and semantic baselines on Hypersim, and achieves superior performance on the Cityscapes dataset, all while maintaining computational efficiency on laptop hardware. Beyond benchmarks, M2H is validated on real-world data, demonstrating its practicality in spatial perception tasks.
関連論文
- 他タスクの視点で自らの失敗を検知するマルチタスク注意機構マルチタスク知覚
- 魚眼サラウンドビューカメラ向けマルチタスク知覚ネットワークマルチタスク知覚
