道路データセットにおけるSAM拡張セグメンテーション：自動運転における重要クラスのバランス調整

- 自動運転向けのdense semantic segmentationの研究。 - Zenseact Open Dataset (ZOD)はマルチセンサデータを持つが、bounding-boxラベルのみでpixel-levelアノテーションが不足。 - Segment Anything Model (SAM)ベースのアノテーションパイプラインを提案し、ZODにdenseなpixel-levelアノテーションを付与。 - 100,000フレーム以上を処理し、手動キュレーションで2,300フレームのサブセットを構築。 - このアノテーションを用いてtransformerベースのCLFTとCNNベースのDeepLabV3+を評価。 - 極端なクラス不均衡に対処するため、希少クラスに特化したモデルも探索。 - Iseauto自律走行プラットフォームでパイプラインを検証。 - コードとアノテーションを公開。

- 従来のZODはbounding-boxラベルのみで、segmentation研究に利用しにくかった。 - 本研究はSAMを活用してpixel-levelアノテーションを生成し、ZODをsegmentation研究に使えるようにした点が新しい。 - 手動キュレーションにより信頼性の高いベースラインを確立。 - 多様な天候条件下でtransformerベースとCNNベースのモデルを比較評価。 - 希少クラス（歩行者、自転車、標識）が1%未満という極端なクラス不均衡に対処するモデルを探索。 - Iseautoプラットフォームで77.5% mIoUを達成し、SAM由来の表現がセンサ構成間で転移学習可能であることを示した。

- SAMベースのアノテーションパイプライン：bounding-boxをsemantic maskに変換し、denseなpixel-levelアノテーションを生成。 - 100,000フレーム以上を処理し、手動キュレーションで2,300フレーム（受入率36%）のサブセットを選定。 - 評価モデル：transformerベースのCLFTとCNNベースのDeepLabV3+。 - クラス不均衡対策として、希少クラスに特化したモデルを探索。 - 双方向転移学習により、SAM由来の表現がセンサ構成間で転移することを検証。

- ZODのアノテーションを用いてCLFTとDeepLabV3+を多様な天候条件下で評価。 - CLFT-Hybridで最大48.1% mIoUを達成。 - Iseauto自律走行プラットフォームでパイプラインを検証し、77.5% mIoUを達成。 - 双方向転移学習により、SAM由来の表現がセンサ構成間で効果的に転移することを示した。 - コードとアノテーションを公開し、再現可能な研究を支援。

- 極端なクラス不均衡（歩行者、自転車、標識が1%未満）が課題。 - 希少クラスに特化したモデルの探索を行ったが、具体的な結果や限界は要旨からは不明。 - 手動キュレーションによるサブセットの受入率36%は、アノテーション品質と量のトレードオフを示唆。 - SAM由来の表現の転移性は確認されたが、他のデータセットやセンサ構成への一般化可能性は要旨からは不明。 - 今後の課題として、より多様な条件での評価やクラス不均衡の更なる改善が考えられる。

- Segment Anything Model (SAM) の原論文。 - Zenseact Open Dataset (ZOD) の論文。 - CLFT (transformer-based segmentation model) の論文。 - DeepLabV3+ の論文。 - 双方向転移学習に関する研究。 - 自動運転向けsemantic segmentationのサーベイ論文。