日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.01654

T-REX: 視覚に基づく自律的な葉の検出と把持推定システム

T-REX: Vision-Based System for Autonomous Leaf Detection and Grasp Estimation

シェア:XThreadsFacebookLINEはてブBluesky

温室環境で葉を自律的に検出・選択・把持するためのガントリー型ロボットシステムを開発し、YOLOv8とステレオ深度推定を組み合わせて把持点を決定、66.6%の把持成功率を達成した。

詳しい要約

1. どんなもの?

- 温室環境での葉の位置推定・選択・把持を自律的に行うgantry-basedロボティックシステム「T-Rex (The Robot for Extracting Leaf Samples)」 - 6自由度マニピュレータとstereo visionパイプラインを統合 - YOLOv8によるリアルタイム葉segmentationとRAFT-Stereoによるdense depth mapから3D葉maskを再構成 - マイクロニードル付きcustom end-effectorで葉を把持し組織samplingを模擬 - Controlled Environment Agriculture (CEA)における植物sampling自動化への一歩

2. 先行研究と比べてどこがすごい?

- 要旨からは不明(先行研究との具体的比較は記述されていない) - 葉の検出・選択・把持を一貫パイプラインとして統合し、clutter・visibility・distanceを考慮した把持点決定まで含む点が特徴として記述 - 温室環境での物理interactionまで実機検証している点が挙げられるが、既存研究との優位性の明示は要旨には無い

3. 技術・手法の肝は?

- YOLOv8で葉のリアルタイムsegmentation - RAFT-Stereoでdense depth mapを生成し3D葉maskを再構成 - leaf grasping algorithmがclutter・visibility・distanceに基づき最適な葉を選択 - 把持点は局所表面のflatness、top-down approachability、edgeからのmarginを解析して決定 - 選択した把持点をROS-based motion controllerでtrajectory実行 - custom microneedle-equipped end-effectorで葉をclampしtissue samplingを模擬

4. どうやって有効だと検証した?

- 人工植物を様々なposeで用いた実験を実施 - T-Rexが植物様targetの検出・planning・物理interactionを一貫して実行できることを確認 - grasp success rate 66.6%を達成 - 実植物ではなく人工植物での検証である点に留意

5. 議論はある?

- grasp success rateは66.6%であり、失敗要因や改善余地に関する議論は要旨からは不明 - 人工植物での検証であり、実植物へのgeneralizationは要旨からは不明 - clutter・visibility・distanceに基づく選択基準の限界は要旨からは不明 - CEAでのplant sampling自動化に向けたpositioningが述べられている

6. 次に読むべき論文は?

- YOLOv8(leaf segmentationの基盤手法) - RAFT-Stereo(dense depth estimation手法) - ROS-based motion control(trajectory実行基盤) - 要旨で直接参照/比較された個別論文は無いため、同分野の定番としてstereo vision-based graspingやagricultural roboticsの関連研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Srecharan Selvam, Abhisesh Silwal, George Kantor

分類: cs.RO, cs.LG

原文アブストラクト

T-Rex (The Robot for Extracting Leaf Samples) is a gantry-based robotic system developed for autonomous leaf localization, selection, and grasping in greenhouse environments. The system integrates a 6-degree-of-freedom manipulator with a stereo vision pipeline to identify and interact with target leaves. YOLOv8 is used for real-time leaf segmentation, and RAFT-Stereo provides dense depth maps, allowing the reconstruction of 3D leaf masks. These observations are processed through a leaf grasping algorithm that selects the optimal leaf based on clutter, visibility, and distance, and determines a grasp point by analyzing local surface flatness, top-down approachability, and margin from edges. The selected grasp point guides a trajectory executed by ROS-based motion controllers, driving a custom microneedle-equipped end-effector to clamp the leaf and simulate tissue sampling. Experiments conducted with artificial plants under varied poses demonstrate that the T-Rex system can consistently detect, plan, and perform physical interactions with plant-like targets, achieving a grasp success rate of 66.6\%. This paper presents the system architecture, implementation, and testing of T-Rex as a step toward plant sampling automation in Controlled Environment Agriculture (CEA).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI