空間情報をリカレントネットワークに明示的に統合した農業向け認識手法
Explicitly incorporating spatial information to recurrent networks for agriculture
RGB-D画像とロボットのオドメトリを用いてフレーム間で特徴マップを位置合わせし、リカレントモデルに融合することで、作物・雑草や果実のセグメンテーション精度を向上させる手法を提案した。
著者: Claus Smitt, Michael Halstead, Alireza Ahmadi, Chris McCool
分類: cs.RO, cs.CV, cs.LG
原文アブストラクト
In agriculture, the majority of vision systems perform still image classification. Yet, recent work has highlighted the potential of spatial and temporal cues as a rich source of information to improve the classification performance. In this paper, we propose novel approaches to explicitly capture both spatial and temporal information to improve the classification of deep convolutional neural networks. We leverage available RGB-D images and robot odometry to perform inter-frame feature map spatial registration. This information is then fused within recurrent deep learnt models, to improve their accuracy and robustness. We demonstrate that this can considerably improve the classification performance with our best performing spatial-temporal model (ST-Atte) achieving absolute performance improvements for intersection-over-union (IoU[%]) of 4.7 for crop-weed segmentation and 2.6 for fruit (sweet pepper) segmentation. Furthermore, we show that these approaches are robust to variable framerates and odometry errors, which are frequently observed in real-world applications.
関連論文
- Agibot:農業ロボティクス研究・教育向けのオープンソースモジュラー式スワーブ駆動ロボットプラットフォーム農業ロボティクス
- 農業収穫技術の統一的分類体系に向けて:物理的相互作用・自動化・選択性の関連付け農業ロボティクス
- エージェント型農業ロボティクス表現型解析の最近の進展:断片化されたマルチモーダルセンシングから統合PhenoAgent知能への展望レビュー農業ロボティクス
- PlantShade: 照明を考慮したロボット農業作業のための植物影予測農業ロボティクス
- ロボット収穫のための選択的ワタボール位置推定:圃場条件下での深層学習視覚モデル評価農業ロボティクス
- CLASP: 生食用ブルーベリー収穫のためのソフトローリングバンドグリッパを備えたクラスタ単位自律選択収穫ロボット農業ロボティクス
