基于语义分割的矮化密植枣树修剪枝识别与骨架提取

为了实现休眠期枣树自动选择性剪枝作业,针对复杂树形结构修剪枝难以识别的问题,研究了基于语义分割网络实现自然场景中枣树修剪枝识别与骨架提取.通过RGB-D相机搭建的视觉系统获取不同天气情况下枣树的点云信息,根据距离阈值去除复杂的枣园背景,并构建枣树前景数据集.利用DeepLabV3+和PSPNet 2种深度学习模型分割枣树枝干同时获取其修剪枝的掩膜,并进行结果对比.对修剪枝掩膜进行二值化,依据二值图像的面积去除噪声,对去噪后的连通域标记,并提取修剪枝骨架,最终确定修剪枝数量,建立修剪枝数量真实值与预测值之间的线性回归模型.结果表明:基于ResNet-50特征提取网络的DeepLabV3+模型识别结果最好,平均像素准确率(mPA)、平均交并比(mIoU)分别为89％和81.85％,其中枣树主干、修剪枝2个类别的像素准确率(PA)和交并比(IoU)分别为90.36％、80.98％和80.34％、66.69％;在3种典型天气(晴天、阴天、夜间)情况下,晴天枣树枝干的mPA(91.97％)略高于阴天(91.81％)和夜间(90.98％),同时,预测的修剪枝与真实值的R2(0.869 9)也高于阴天(0.837 3)和夜间(0.812 0),并得到最小的RMSE为1.161 8.