日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

農業ロボティクスarXiv:2605.23863

ロバストな視覚と深層強化学習に基づくシミュレーションから実機への制御によるロボットイチゴ収穫

Robotic Strawberry Harvesting with Robust Vision and Deep Reinforcement Learning based Sim-to-Real Control

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、ロバストな視覚モジュールとシミュレーションで訓練した深層強化学習制御を組み合わせた閉ループのロボットイチゴ収穫システムを提案し、実機での収穫成功率84.3%を達成した。

詳しい要約

1. どんなもの?

- イチゴ収穫の閉ループロボットシステム - 頑健な視覚モジュール - シミュレーション学習したDRL制御 - ROSベースの実機実行 - 視覚: HRAttnEdge-YOLO26-seg - YOLO26-seg改変 - 高解像度P2分岐 - segmentation-path attention - edge-supervised prototype learning - 制御: target-conditioned PPO - Isaac Labで学習 - UR10eの関節位置指令 - 実機UR10eに展開 - 対象: 混雑環境でのイチゴのinstance segmentationと収穫

2. 先行研究と比べてどこがすごい?

- 従来のplanner依存のreachingと比較 - IKベースのMoveItベースラインより安定で動的に滑らかな動作 - 視覚性能 - 評価手法中で最高の総合性能 - 自前・公開データセットでsegmentation性能が10〜14%向上 - 開発効率 - シミュレーション学習によりハードウェア依存を低減 - 開発コストを削減 - 実展開前の物理試行を網羅せずスケーラブルに方策学習 - 実環境 - 温室で281個のイチゴを収穫 - 到達成功率96.6%、把持・引き抜き成功率91.3%、全体収穫成功率84.3%

3. 技術・手法の肝は?

- 視覚: HRAttnEdge-YOLO26-seg - YOLO26-segを基盤 - 高解像度P2分岐を追加 - segmentation-path attentionを導入 - edge-supervised prototype learningを導入 - 混雑シーンでのinstance segmentationを改善 - 制御: target-conditioned PPO - Isaac Labで学習 - 目標果実へのreachingと収穫のため - UR10eの滑らかな関節位置コマンドを生成 - 実機UR10eに展開 - システム: ROSベースの閉ループ実行

4. どうやって有効だと検証した?

- 視覚モデル - 自前収集データセットと公開データセットで評価 - 評価手法中で最高の総合性能 - segmentation性能が10〜14%向上 - 制御 - 制御された社内テストでPPOコントローラを評価 - IKベースのMoveItベースラインより安定で動的に滑らかな動作 - 統合システム - 温室トライアルで281個のイチゴを収穫 - 到達成功率96.6% - 把持・引き抜き成功率91.3% - 全体収穫成功率84.3%

5. 議論はある?

- タスク特化の知覚とシミュレーション学習PPOの組み合わせ - 従来のplanner依存reachingに代わる実用的で資源効率の良い代替案 - 複雑な農業環境での信頼性の高い閉ループロボット収穫を可能にする - シミュレーションベースアプローチの利点 - ハードウェア依存を低減 - 開発コストを削減 - 実展開前の網羅的な物理試行なしでスケーラブルな方策学習 - 限界や課題は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - YOLO26-seg - Proximal Policy Optimization (PPO) - Isaac Lab - UR10e - MoveIt - inverse kinematics (IK) - 関連手法 - instance segmentation - sim-to-real control - ROS-based robotic harvesting

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Al Bashir, Shao-Yang Chang, Partho Ghose, Prem Raj, Chen-Kang Huang, Azlan Zahid

分類: cs.RO

原文アブストラクト

This study presents a closed-loop robotic strawberry harvesting system that combines a robust vision module, simulation-trained deep reinforcement learning (DRL) control, and ROS-based realrobot execution. For perception, we propose HRAttnEdge-YOLO26-seg, a modified YOLO26-seg architecture that incorporates a high-resolution P2 branch, segmentation-path attention, and edgesupervised prototype learning to improve instance segmentation in cluttered scenes. For control, we train a target-conditioned Proximal Policy Optimization (PPO) policy in Isaac Lab to produce smooth joint-position commands for a UR10e manipulator and deploy it on a UR10e robot for targetfruit reaching and harvesting. This simulation-based approach reduces hardware dependency, lowers development cost, and allows scalable policy training without exhaustive physical trials before real deployment. The proposed vision model demonstrated the highest overall performance among the evaluated methods. On both self-collected and public datasets, the model showed a 10 to 14% improvement in segmentation performance. In controlled in-house tests, the PPO controller produced stable and dynamically smoother motion than a inverse kinematics (IK)-based MoveIt baseline. In greenhouse trials, the proposed integrated system harvested 281 strawberries, achieving 96.6% reaching success, 91.3% grasp-and-pull success, and 84.3% overall harvesting success. These results illustrate that task-specific perception combined with simulation-trained PPO can serve as a practical and resource-efficient alternative to conventional planner-dependent reaching in manipulation, enabling reliable closed-loop robotic harvesting in complex agricultural environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI