トランスフォーマーによるリンゴ幼果の時空間対応付け
Transformer-Based Spatio-Temporal Association of Apple Fruitlets
異なる日・カメラ位置で撮影したステレオ画像中のリンゴ幼果を、トランスフォーマーで形状と位置を符号化して対応付ける手法を提案し、商業果樹園データでF1スコア92.4%を達成した。
著者: Harry Freeman, George Kantor
分類: cs.CV, cs.RO
原文アブストラクト
In this paper, we present a transformer-based method to spatio-temporally associate apple fruitlets in stereo-images collected on different days and from different camera poses. State-of-the-art association methods in agriculture are dedicated towards matching larger crops using either high-resolution point clouds or temporally stable features, which are both difficult to obtain for smaller fruit in the field. To address these challenges, we propose a transformer-based architecture that encodes the shape and position of each fruitlet, and propagates and refines these features through a series of transformer encoder layers with alternating self and cross-attention. We demonstrate that our method is able to achieve an F1-score of 92.4% on data collected in a commercial apple orchard and outperforms all baselines and ablations.
関連論文
- Agibot:農業ロボティクス研究・教育向けのオープンソースモジュラー式スワーブ駆動ロボットプラットフォーム農業ロボティクス
- 農業収穫技術の統一的分類体系に向けて:物理的相互作用・自動化・選択性の関連付け農業ロボティクス
- エージェント型農業ロボティクス表現型解析の最近の進展:断片化されたマルチモーダルセンシングから統合PhenoAgent知能への展望レビュー農業ロボティクス
- PlantShade: 照明を考慮したロボット農業作業のための植物影予測農業ロボティクス
- ロボット収穫のための選択的ワタボール位置推定:圃場条件下での深層学習視覚モデル評価農業ロボティクス
- CLASP: 生食用ブルーベリー収穫のためのソフトローリングバンドグリッパを備えたクラスタ単位自律選択収穫ロボット農業ロボティクス
