静止画像と時空間トマトデータによる強・弱ラベルを用いた検出・セグメンテーション・追跡・ビデオインスタンスセグメンテーションの実現

本論文は、商業的な環境に近い条件下でロボットを用いて取得されたトマト植物の視覚センシングのための2つのデータセットを公開するものである。1つ目はBUTom21で、静止画像と手動アノテーションからなる。2つ目はBUTom-ST21で、ビデオベースのデータとAIベースの手法による半自動アノテーション（疑似ラベル）からなる。両データセットとも、果実の熟度に対するピクセルレベルのラベルを提供する。目的は、重要な園芸作物であるトマトの植物と果実の状態をセンシング・推定する手法を探求するための、挑戦的な実世界画像のセットを研究コミュニティに提供することである。特に、時空間データセットは個々の果実の数と熟度情報を提供し、フィールドベースのフェノタイピングの研究を促進する。

先行研究と比べて、公開されているトマトデータセットは限られており、特に商業的な環境に近い設定でロボットにより収集されたものは少ない。また、静止画像とビデオデータの両方を含み、ピクセルレベルの熟度ラベルと個々の果実の追跡情報を提供する点が新しい。さらに、半自動アノテーションによる疑似ラベルを用いることで、大規模な時空間データセットの構築を可能にしている点が優れている。

技術や手法の肝は、データセットの構築方法にある。BUTom21では手動アノテーションを用い、BUTom-ST21ではAIベースの手法による疑似ラベルを生成し、それを半自動で修正している。また、ロボットを用いて商業的な環境に近い条件下でデータを収集している点が特徴的である。

有効性の検証方法については、要旨からは不明である。データセットの公開と、それを使用したベンチマーク評価が想定されるが、具体的な検証結果は記載されていない。

議論としては、疑似ラベルの品質や、データセットのバイアス、実世界の多様性への適用可能性などが考えられるが、要旨からは具体的な議論は不明である。

要旨で参照されている研究は明示されていないが、関連する分野として、植物フェノタイピング、物体検出・セグメンテーション・追跡、ビデオインスタンスセグメンテーションの手法に関する論文が挙げられる。具体的には、Mask R-CNNやYOLOなどの物体検出・セグメンテーション手法、および追跡手法に関する論文が関連する。