日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

物体認識/セグメンテーションarXiv:2604.22992

ラベル伝播による半教師あり物体セグメンテーションを用いた効率的な画像アノテーション

Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation

シェア:XThreadsFacebookLINEはてブBluesky

家庭用ロボットの物体認識のため、少数のアノテーションで多数の画像を自動ラベリングする半教師あり手法を提案。セグメント提案とホップフィールドネットワークによるラベル伝播で、RoboCup@Home環境でデータの60%を自動ラベル付け可能。

詳しい要約

1. どんなもの?

- 家庭内物体のセグメンテーションを対象にした半教師ありラベル伝播手法。 - segment proposerがクラス非依存マスクを生成し、Hopfield networkのensembleがCLIP, ViT, Theiaの埋め込み空間で代表埋め込みを学習してラベルを割り当てる。 - 50クラスまで拡張可能で、RoboCup@Home設定でデータの60%を自動ラベリングできる。 - データセットとコードは公開されている。

2. 先行研究と比べてどこがすごい?

- open-vocabulary detectorは数クラスを超えると汎化が難しい。 - 物体検出器の完全教師あり学習は時間のかかるアノテーションを必要とする。 - 本手法は限られたアノテーション負荷で50クラスにスケールし、RoboCup@Homeのように準備時間が厳しく制約される設定で60%のデータを自動ラベリングできる点が優れている。

3. 技術・手法の肝は?

- segment proposerがクラス非依存マスクを生成する。 - Hopfield networkのensembleが、CLIP, ViT, Theiaという補完的なfoundation model埋め込み空間で代表埋め込みを学習する。 - 学習した代表埋め込みに基づいてラベルを割り当てる半教師ありラベル伝播アプローチ。

4. どうやって有効だと検証した?

- RoboCup@Home設定で評価し、データの60%を自動ラベリングできることを示した。 - 50物体クラスまでスケールすることを確認した。 - 詳細な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 限られたアノテーション負荷で50クラスにスケールし、準備時間が厳しいRoboCup@Homeで60%の自動ラベリングを達成。 - データセットとコードを公開。 - 限界や失敗事例、議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- CLIP - ViT - Theia - Hopfield network - open-vocabulary detector - RoboCup@Home

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vitalii Tutevych, Raphael Memmesheimer, Luca Eichler, Dmytro Pavlichenko, Fynn Schilke, Rodja Krudewig, Sven Behnke

分類: cs.CV, cs.RO

原文アブストラクト

Reliable object perception is necessary for general-purpose service robots. Open-vocabulary detectors struggle to generalize beyond a few classes and fully supervised training of object detectors requires time-intensive annotations. We present a semi-supervised label propagation approach for household object segmentation. A segment proposer generates class-agnostic masks, and an ensemble of Hopfield networks assigns labels by learning representative embeddings in complementary foundation model embedding spaces (CLIP, ViT, Theia). Our approach scales to 50 object classes with limited annotation overhead and can automatically label 60% of the data in a RoboCup@Home setting, where preparation time is severely constrained. Dataset and code are publicly available at https://github.com/ais-bonn/label_propagation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI