枝を押しのけて果実検出を向上させる遮蔽処理
Occlusion Handling by Pushing for Enhanced Fruit Detection
農業ロボットが枝葉に隠れた果実を検出・収穫できるよう、RGB-Dカメラとロボットアームで枝を押しのけて視認性を高める手法を提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Ege Gursoy, Dana Kulić, Andrea Cherubini
分類: cs.RO
原文アブストラクト
In agricultural robotics, effective observation and localization of fruits present challenges due to occlusions caused by other parts of the tree, such as branches and leaves. These occlusions can result in false fruit localization or impede the robot from picking the fruit. The objective of this work is to push away branches that block the fruit's view to increase their visibility. Our setup consists of an RGB-D camera and a robot arm. First, we detect the occluded fruit in the RGB image and estimate its occluded part via a deep learning generative model in the depth space. The direction to push to clear the occlusions is determined using classic image processing techniques. We then introduce a 3D extension of the 2D Hough transform to detect straight line segments in the point cloud. This extension helps detect tree branches and identify the one mainly responsible for the occlusion. Finally, we clear the occlusion by pushing the branch with the robot arm. Our method uses a combination of deep learning for fruit appearance estimation, classic image processing for push direction determination, and 3D Hough transform for branch detection. We validate our perception methods through real data under different lighting conditions and various types of fruits (i.e. apple, lemon, orange), achieving improved visibility and successful occlusion clearance. We demonstrate the practical application of our approach through a real robot branch pushing demonstration.
関連論文
- Agibot:農業ロボティクス研究・教育向けのオープンソースモジュラー式スワーブ駆動ロボットプラットフォーム農業ロボティクス
- 農業収穫技術の統一的分類体系に向けて:物理的相互作用・自動化・選択性の関連付け農業ロボティクス
- エージェント型農業ロボティクス表現型解析の最近の進展:断片化されたマルチモーダルセンシングから統合PhenoAgent知能への展望レビュー農業ロボティクス
- PlantShade: 照明を考慮したロボット農業作業のための植物影予測農業ロボティクス
- ロボット収穫のための選択的ワタボール位置推定:圃場条件下での深層学習視覚モデル評価農業ロボティクス
- CLASP: 生食用ブルーベリー収穫のためのソフトローリングバンドグリッパを備えたクラスタ単位自律選択収穫ロボット農業ロボティクス
