数字农科院2.0

基于改进YOLOv8s与RGB-D信息融合的番茄采摘机器人识别与定位方法

文献类型： 中文期刊

作者： 樊湘鹏;张岩琪;周硕;任美飞;王雨薇;柴秀娟

作者机构：

关键词： 采摘机器人;识别定位;YOLOv8s;RGB-D;融合感知;番茄抓取

期刊名称：农业工程学报

ISSN： 1002-6819

年卷期： 2025 年

页码：

收录情况： EI（2025版） ; ; 北大核心（2023版） ; ; CSCD（2025-2026年度） ; ; 科技核心（2024版） ; ; 农林核心（2024版）

摘要： 采摘机器人视觉感知系统是完成选择性收获的基本条件。针对在非结构设施环境中番茄特定种植模式约束下，现有采摘机器人果实识别与定位精度低导致的采收成功率不高等问题，该研究面向番茄采摘机器人性能提升，在自建数据集基础上，提出一种基于改进YOLOv8s和RGB-D多源信息融合感知的番茄采摘机器人识别与定位方法。首先，利用空间重构卷积单元和通道重构卷积单元进行串联组合构建空间和通道重建卷积结构实现轻量化目标；然后，在YOLOv8s颈部结构中引入SimAM三维注意力机制，使模型更加关注复杂环境下番茄的关键特征；最后使用MPDIoU损失改进损失函数，解决因果实重叠导致的检测帧失真问题，减少番茄的漏检现象。结果表明，相比于原始YOLOv8s模型，改进模型的平均精度均值（mAP50）由91.49%增加到95.81%，模型大小由22.5 M减小到17.6 M，推理时间也从10.6 ms减少到8.7 ms，与YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9和YOLOv10系列模型相比，改进的YOLOv8s模型在识别精度、检测速度和计算效率上具有明显优势。在改进YOLOv8s模型基础上，将RGB图像与Depth图像信息配准并融合获取番茄中心点在空间中的位置坐标，利用RealSense D435 RGB-D相机和NVIDIA Jetson AGX Orin边缘设备构建视觉感知决策系统，自主开发了番茄采摘执行系统并开展了定位精度和采摘抓取试验。单帧图像平均耗时50 ms，采摘抓取成功率为94.73%，损伤率仅为4.17%。该研究有效解决了果实采收机器人视觉感知环节面临的技术挑战，并且适合在性能受限设备上部署应用，可为番茄等果实采收机器人识别与定位提供关键技术支撑。

分类号：

  • 相关文献

[1]苹果机械化采收技术与装备研究现状. 陈青,吴玄博,殷程凯,郭自良,丁文芹,周宏平. 2025

[2]Development of an enhanced hybrid attention YOLOv8s small object detection method for phenotypic analysis of root nodules. Ya Zhao,Wen Zhang,Liangxiao Zhang,Xiaoqian Tang,Du Wang,Qi Zhang,Peiwu Li. 2025

[3]Dynamic Object Detection and Non-Contact Localization in Lightweight Cattle Farms Based on Binocular Vision and Improved YOLOv8s. Li, Shijie,Cao, Shanshan,Wei, Peigang,Sun, Wei,Kong, Fantao. 2025

[4]基于混合蛙跳优化的采摘机器人相机标定方法. 陈科尹,邹湘军,关卓怀,王刚,彭红星,吴崇友. 2019

[5]基于半实物仿真的采摘机器人视觉定位研究. 陈科尹,邹湘军,彭红星,梁海英,胡元闯. 2017

[6]基于轻量化YOLOv3卷积神经网络的苹果检测方法. 武星,齐泽宇,王龙军,杨俊杰,夏雪. 2020

[7]番茄采摘机器人系统设计与试验. 王晓楠,伍萍辉,冯青春,王国华. 2016

[8]果园采摘机器人研究综述. 李会宾,史云. 2019

[9]菇类采摘机器人研究现状和展望. 王明友,王达,宋卫东,孙玉利,张振烨,赵鑫培. 2024

[10]椭球型果蔬柔性采摘灵巧手设计. 陈蒙,陈丰,张华,丁文芹,占才学. 2024

[11]果蔬采摘机器人研究现状及发展趋势. 夏先飞,贾磊,张硕,宫庆硕,吕俊潼,沈成,张进龙,梁明旭. 2026

作者其他论文 更多>>