多对象特征提取和优化神经网络的玉米种子品种识别解析.docx

1、多对象特征提取和优化神经网络的玉米种子品种识别解析第26卷第6期农业工程学报V ol.26No.62010年6月Transactions of the CSAE Jun. 2010199多对象特征提取和优化神经网络的玉米种子品种识别王玉亮1，刘贤喜2，苏庆堂3，王朝娜2（1南京航空航天大学机电学院，南京210016；2山东农业大学机械与电子工程学院，泰安271018；3鲁东大学现代教育技术教学部，烟台264025）摘要：为了实现机器视觉代替人的视觉，对玉米种子品种进行实时、客观、准确和无损伤识别，研制了玉米品种识别硬件系统和软件系统。针对玉米种子及种子图像的特点，对玉米种子品种识别技术与算法进

2、行了深入地研究和探索，提出了一种基于多对象有效特征提取和主成分分析优化神经网络的玉米种子品种识别方法，提取了玉米种子的几何特征和颜色特征参数，优化了基于机器视觉的玉米种子图像处理策略和品种识别算法，提高了玉米品种识别的速度和准确率。对农大108、鲁单981、郑单958、五岳18共4个品种玉米种子进行了品种识别试验，每粒种子识别的平均耗时为0.127s ，综合识别率达到97%以上。研究表明，基于机器视觉的玉米种子品种识别与检测方法是可行的，该方法可提高玉米种子品种识别效率和正确率。关键词：特征提取，主成分分析，神经网络，玉米种子，品种识别doi ：10.3969/j.issn.1002-6819

3、.2010.06.035中图分类号：TP391，S513文献标识码：A 文章编号：1002-6819(2010-06-0199-06王玉亮，刘贤喜，苏庆堂，等.多对象特征提取和优化神经网络的玉米种子品种识别J.农业工程学报，2010，26(6：199204.Wang Yuliang, Liu Xianxi, Su Qingtang, et al. Maize seeds varieties identification based on multi-object feature extraction and optimized neural networkJ. Transactions of

4、the CSAE, 2010, 26(6:199204. (inChinese with English abstract0引 言玉米作为中国主要的农作物之一，在食品、饲料等行业中备受关注。玉米种子直接关系到玉米的产量与质量，机器视觉具有实时、高效、客观、准确和无损伤等优点1，为此，应用机器视觉代替人的视觉进行玉米等谷物种子品种及质量检验有着重要意义。玉米的检测识别一直是研究的热点，1994年以来，Liao K 等2应用人工神经网络分类器对玉米籽粒的完好与破损进行在线实时检测，宋韬等3应用多层前馈网络（BP ，back propagation ）识别玉米粒完整与破损，Ni B. 等4根据玉米籽

5、粒大小进行分级，H. ENg 等5对玉米进行损伤粒和霉变粒的识别。2004年以后，宁纪锋等6应用机器视觉对玉米籽粒的尖端和胚部的进行识别，杨蜀秦等7研究了基于BP 人工神经网络的玉米品种识别，陈永艳8等研究了玉米种子品种模糊模式识别模型，赵新子等9研究了玉米种子活力图像识别与处理技术，司秀丽等10研究了玉米种子纯度的计算机图像识别，杨锦忠等11研究了基于种子图像处理的大数目玉米品种形态识别，史智兴等12研究了图像处理识别玉米品种的特征参数，王收稿日期：2009-09-29修订日期：2010-05-12基金项目：山东省科技计划资助项目（J05G16）作者简介：王玉亮（1979），男，山东泰安人，

6、博士生，主要从事机器视觉、图像处理等研究。南京南京航空航天大学机电学院，210016。Email:wangyuliangcn通信作者：刘贤喜（1963），男，山东日照人，教授，博士，主要从事计算机视觉、图像处理和模式识别等研究。泰安山东农业大学机械与电子工程学院，271018。Email:bullish宏勇等13研究了基于遗传算法和支持向量机的玉米品种识别，程洪等14研究了基于支持向量机的玉米品种识别，苏谦等15研究了基于近红外光谱和仿生模式识别的玉米品种快速鉴别方法。综上所述，玉米种子品种识别与检测中主要有种子有效特征提取和种子模式识别分类方法等两大关键技术，其中特征提取是品种识别的关键环节

7、。在特征提取方面，一般都是采用对单粒种子进行特征提取的方法，效率比较低。针对玉米种子品种识别与检测的特点，搭建了基于机器视觉的玉米种子图像采集系统，提出了一种基于多对象有效特征提取和主成分分析优化神经网络的玉米种子品种识别方法，该方法可以在保证种子特征提取精度和效率的前提下，把其他文献中90%左右品种识别率，提高到97%以上。1玉米识别系统与玉米品种1.1玉米识别系统玉米种子品种识别系统主要由硬件系统和软件系统组成。如图1所示的硬件系统由图像采集系统、计算机信息处理设备、图像信息存储设备、图像信息及结果输出设备等组成。其中，图像采集系统如下：计算机CPU Intel Core23.0G ，2G

8、 内存；相机选用Sony H5，照片分辨率为16321224像素；光源采用三基色22W 荧光环形管，光源外径190mm ，色温4500K ，为系统提供均匀照明；遮光罩内侧涂有无闪烁白漆；载物台表面为黑色，采用煮黑加工工艺处理，以使背景反射接近漫反射。玉米种子样品随机的彼此互不接触地置于载物台上，用相机获取玉米种子图像。软件系统采用VC+6.0开发。200农业工程学报2010年 1. 打印机2. 计算机3. 显示器4. 采集台架5. 相机6. 环形光源7. 遮光罩8. 样品9. 载物台图1硬件系统组成示意图Fig.1Schematic of hardware system composition

9、1.2玉米品种选取了由泰安市五岳泰山种业有限公司提供的农大108、郑单958、鲁单981和五岳18，4个品种的试验样品，并剔除了玉米穗两端的种子，挑选形态特征相对标准的种子进行研究。图2是系统采集到的农大108和郑单958玉米种子图像。 图2玉米种子图像Fig.2Maize seeds images2玉米种子特征提取 2.1图像预处理 在进行玉米种子特征提取之前，首先将采集的玉米种子图像转化为BMP 格式，然后再对图像进行灰度化、中值滤波、图像分割、形态学处理等预处理，最后得到所需图像。 选取了模板尺寸为33的中值滤波方法对图像进行增强，中值滤波作为非线性滤波，可在保持图像细节的基础上有效消除

10、噪声。分别选用整体阈值分割法和联合阈值分割法对图像进行阈值分割。文中选用的联合阈值分割法是将输入图像的Canny 算子检测结果与输入图像加权融合，采用输入图像的大津法优化阈值对融合图像进行分割。通过对分割结果进行对比发现，联合分割法的分割结果优于整体阈值分割法，可以提高玉米种子特征提取的精度。采用基于误分像素点的测度对联合分割法提取种子轮廓进行了检测，误分像素点的测度平均值小于0.05。2.2玉米种子轮廓提取由于1幅图像上有多个目标，传统的轮廓提取需要每次从图像中分割出1粒种子进行标记和提取，效率比较低。为了提高轮廓跟踪与提取的效率，采用了多对象轮廓提取算法，克服了必须将图像中的单粒种子图像分

11、割取出后才能进行轮廓提取的问题，通过一次扫描就可以完成所有连通区域的标记和多个对象的轮廓提取。设经过阈值分割的二值图像的背景点的像素灰度值为BP ，目标点的像素灰度值为TP ，轮廓序号初值为N (N BP ，N TP ，CP 代表当前扫描点（坐标为（i ，j ）的像素点灰度值，扫描图像的方向为从左到右，从上到下。则基于轮廓标记和轮廓填充的二值图像多对象轮廓提取描述如下：1）从二值图像的左上角开始对像素点逐行扫描，当扫描到像素点的灰度值为TP 的点，即CP=TP时，停止扫描并记下当前像素点的坐标值（x N ，y N ），并将当前像素点的灰度值赋为N 。2）从当前像素点开始，定义初始搜索方向为沿左

12、上方；如果左上方的像素点的灰度值为TP ，则该点为轮廓上的点，否则搜索方向顺时针旋转45。这样一直搜索下去直到找到第1个灰度值为TP 的像素点为止，并将该像素点的灰度值赋为N 。然后将新找到的点作为当前轮廓点，在当前搜索方向的基础上逆时针旋转90。将当前轮廓像素点的序号n 、坐标值、链码值、N 值等数据存入种子数据结构中供后续特征提取时调用。3）重复步骤（2），直到返回到起始点（x N ，y N ）为止。4）填充轮廓内的区域。即将该轮廓区域的所有像素点的灰度值都赋为BP 或者N 。5）N +；从点（x N ，y N ）开始重复以上步骤，直到扫描图像完成。该算法的流程图如图3所示。注：N 图像中

13、对象轮廓的序号，N +将序号增1图3多对象轮廓提取算法流程图Fig.3Flow chart of multi-object profile feature extraction第6期王玉亮等：多对象特征提取和优化神经网络的玉米种子品种识别201为了进一步提高算法的执行效率，采用多线程的方法进行多对象轮廓提取。实际应用中，采用2个线程分别从图像的左上角和右下角同时开始对图像进行遍历，提取图像中的种子对象轮廓。利用多对象轮廓提取的玉米种子轮廓如图4所示。试验证明，基于轮廓标记和轮廓填充的二值图像多对象轮廓提取算法，对玉米种子轮廓提取有很好的适应性，而且该算法一次扫描完成即可提取所有连通区域的轮廓信

14、息，其执行效率和提取精度较高。 图4多对象轮廓提取的玉米种子轮廓Fig.4Contours of maize seeds2.3特征提取 玉米种子的几何特征和颜色特征都是反映玉米种子发育和品种信息的重要指标，在多对象轮廓提取算法的基础上，先定位玉米种子的尖端，然后对玉米种子的几何特征和颜色特征参数进行了多对象特征提取，并且采用多线程的方法来提高特征提取的效率。实际提取的玉米种子的主要几何特征如图5所示，系统应用的25个特征参数如表1所示。其中，当量直径为4倍面积与比值的平方根，形状参数为周长的平方与4倍面积的比值，伸长度为长轴长度与短轴长度的比值，紧凑度为当量直径与长轴长度的比值，圆度为种子轮廓

15、的最小外接圆半径与最大内切圆半径的比值。系统采用RGB 、HSI 等模型来描述玉米种子的颜色信息，提取了种子上颜色最稳定部分（即过形心和大端以形心和大端之间的距离为直径且圆心在长轴上的圆形区域）的颜色特征。 图5玉米种子主要几何参数示意图Fig.5Schematic diagram of geometry parameters of maize seeds表1提取的玉米种子的主要特征参数Table 1Feature parameters of maize seeds几何特征颜色特征(1轮廓点数(8当量直径(14R 均值(20H 均值(2面积(9最大跨度(15G 均值(21S 均值(3周长(10

16、形状参数(16B 均值(22I 均值(4最大内切圆半径(11伸长度(17R 标准差(23H 标准差(5最小外接圆半径(12紧凑度(18G 标准差(24S 标准差(6长轴长度(13圆度(19B 标准差(25I 标准差(7短轴长度注：R 均值为红色分量平均值，G 均值为绿色分量平均值，B 均值为蓝色分量平均值，R 标准差为红色分量标准差，G 标准差为绿色分量标准差，B 标准差为蓝色分量标准差，H 均值为色度分量均值，S 均值为饱和度分量均值，I 均值为亮度分量平均值，H 标准差为色度分量标准差，S 标准差为饱和度分量标准差，I 标准差为亮度分量标准差。利用文中提出的算法对1幅图像上的多粒种子对象进

17、行了几何特征和颜色特征提取试验，结果表明，该算法提取1粒种子特征的时间为0.12s 。3品种识别试验选择山东省种植面积广，销售量大的农大108、郑单958、鲁单981和五岳184个品种的玉米种子，试验样品由泰安市五岳泰山种业有限公司提供。随机选取样本数量分别为106粒、150粒、160粒和120粒进行品种识别试验。对4种玉米种子的部分特征数据进行了统计分析，如图6所示，五岳18的H 均值集中在4.004.76之间，而其他3类种子的H 均值范围在0.53.5之间；郑单958的最小外接圆面积最大，在3.51044.9104像素之间，并且面积A 农大108A 鲁单981A 郑单958，郑单958和鲁

18、单981的分类阈值为34000；农大108的轮廓点数在462以下。202农业工程学报2010年 图64类玉米种子的分类特征Fig.6Classification feature of four kinds of maize seeds为了有效地进行玉米品种识别，使用主成分分析的方法对神经网络的输入模式向量进行前处理，将降维优化后的模式向量作为网络的输入进行品种识别。3.1主成分分析使用主成分分析（PCA ，principal component analysis ）的方法把多指标转化为少数几个综合指标，该方法主要分析众多变量之间的相关性，利用主成分综合原始变量的信息，达到降维的目的。试验对比了

19、将4个品种的玉米样品单独进行主成分分析和将4个品种的玉米混合进行主成分分析的方法。单独进行主成分分析的结果如表2（截取了农大108主成分分析的25项特征因子中的前6项），结果表明，该种子的前6项特征因子代表了93%以上的信息，因此，取变换后的6个特征向量就可以代表25个原始特征向量。对其他品种的种子特征做主成分分析的结果与农大108相似，均可用不同的公式进行线性变换得到的6个特征向量来表示原始特征向量。表2农大108主成分分析Table 2Principal component analysis of Nongda 108初始特征值成分特征值方差贡献率/%累计方差贡献率/%17.93831.7

20、5331.75325.35621.42453.17734.17116.68369.86042.50110.00579.86552.2478.98888.85361.0904.35993.212混合4个品种在一起进行主成分分析时，结果如表3所示（截取了4个品种玉米种子主成分分析的25项特征因子中的前7项）。混合4个品种的种子特征进行主成分分析时，可以用5个或7个主成分来对原始特征向量应用同一公式进行线性变换，其线性变换系数如表4所示，其中特征的顺序与表1中的特征排列顺序一致。3.2BP 神经网络识别将主成分分析得到的种子特征数据作为BP 网络构建的种子分类器的模式输入，进行玉米品种识别。表34个

21、品种玉米种子主成分分析Table 3Principal components analysis of four kinds of maizeseeds初始特征值成分特征值方差贡献率/%累计方差贡献率/%110.37041.48041.48026.24424.97766.45732.4959.98176.43842.1088.43384.87151.3125.24790.11860.9063.62393.74170.6822.72896.469表44个品种的种子各主成分线性变换的系数Table 4Principal component coefficients of linear transfo

22、rmation特征主成分1主成分2主成分3主成分4主成分5主成分6主成分7x 10.2840.1400.039-0.0610.0730.0340.102x 20.2830.1390.070-0.1000.0440.081-0.030x 30.2870.1380.042-0.0640.0650.0400.078x 40.2420.1630.137-0.2510.0650.098-0.079x 50.3000.096-0.0170.0240.0320.0470.003x 60.3030.064-0.0320.0450.0140.053-0.089x 70.1050.2380.226-0.3850.

23、1210.0000.263x 80.2810.1440.075-0.1080.0480.075-0.020x 90.3000.087-0.0210.0390.0190.050-0.027x 100.1480.007-0.2150.2800.146-0.2370.738x 110.241-0.091-0.1910.304-0.0610.047-0.245x 12-0.2350.1120.206-0.2680.029-0.0010.204x 130.228-0.038-0.2040.350-0.019-0.0440.107x 14-0.069-0.066-0.292-0.0280.6220.405

24、-0.158x 15-0.2140.190-0.0900.1160.3340.2710.073x 16-0.1330.3270.0990.2080.078-0.0080.017x 170.005-0.0990.4450.311-0.1880.3660.085x 180.082-0.1460.4630.2670.0600.204-0.008x 190.038-0.3500.145-0.0630.283-0.0730.110x 20-0.1870.2550.1090.159-0.032-0.1180.135x 210.056-0.341-0.149-0.222-0.0390.0980.081x 2

25、2-0.1690.2910.0070.1870.2420.1260.008x 230.0600.0120.2640.1260.427-0.665-0.352x 240.022-0.3610.010-0.1560.185-0.0550.176x 250.045-0.3110.3280.1040.1940.0730.1014个品种单独主成分分析中用变换后的6个特征向量来代表25个原始特征向量，混合4个品种在一起主成分析中又分别用变换后的5个和7个特征向量来代表25个原始特征向量。针对以上3种情况，分别构建了6-6-6-4、5-5-5-4和7-7-7-4的两隐层BP 神经网络，拓扑结构如图7所示，两

26、隐层使用对数特性的Sigmoid 激活函数，输出层使用线性激活函数。第6期王玉亮等：多对象特征提取和优化神经网络的玉米种子品种识别203 注：x 1，x 2，x 7为待检测种子主成分，y 1，y 2，y 4为对应于4个品种种子的输出模式，如：1,0, 0, 0为农大108图7两隐层BP 网络Fig.7Two hidden layers BP network将4个品种各样本特征的主成分数据归一化处理，取4个品种的各100个样本的特征参数交叉存入输入变量X 6400、X 5400和X 7400中作为3个不同网络的输入（即各品种样本数据逐一间隔存入输入变量X ），输出变量Y 4400为输入变量X 对

27、应样本的品种，采用有动量的梯度下降法和自适应学习率的梯度下降法来训练网络，经过10000次循环迭代，误差分别达到0.102、0.0013和0.0003，网络训练耗时分别为：52.9、50.7和55.3s ，分别用以上主成分分析得到的3组特征数据来测试训练好的3个BP 网络，网络识别耗时分别为3.85、3.73和3.97s 。4种玉米种子主成分分析后神经网络识别结果如表5所示。结果表明：1）单独主成分分析方法的品种综合识别率小于50%，故对4个品种的种子特征分别进行主成分分析的方法不适用；2）将样品混合后主成分分析方法的识别正确率较高，用变换后的7个特征向量来代表25个原始特征向量时，综合识别率

28、达到97%以上。表54种玉米种子主成分分析后神经网络识别情况Table 5Identification of four kinds of maize seeds by ANN and PCA样本名称样本数量/粒训练样本数量/粒未训练样本数量/粒PCA1训练样本误识别粒数PCA1未训练样本误识别粒数PCA1综合识别正确率/%PCA2训练样本误识别粒数PCA2未训练样本误识别粒数PCA2综合识别正确率/%PCA3训练样本误识别粒数PCA3未训练样本误识别粒数PCA3综合识别正确率/%农大1081061006676300296.230197.17鲁单981150100508744200494.670

29、297.33郑单958160100605619500297.500199.38五岳1812010020394530100100注：PCA1为4个品种种子的特征数据单独主成分分析；PCA2为4个品种种子的特征数据混合主成分分析，用变换后的5个特征向量来代表25个原始特征向量；PCA3为4个品种种子的特征数据混合主成分分析，用变换后的7个特征向量来代表25个原始特征向量。4结论1）根据玉米种子及种子图像的特点，采用联合分割法对种子图像进行分割，提出一种多对象有效特征提取算法，该算法可以快速有效地提取玉米种子的几何特征和颜色特征参数，种子特征提取的平均耗时为0.12s/粒。2）提出一种基于主成分分析

30、优化神经网络的品种识别方法，该方法用主成分分析的方法对提取的种子特征进行降维优化处理，将抽取的特征作为BP 网络的模式输入进行品种识别，将识别和检测时间降低至0.007s/粒。3）对4个品种玉米种子进行了品种识别试验，结果表明，基于多对象特征提取和主成分分析优化神经网络的玉米种子品种识别方法的综合识别率可达到97%以上。该方法可推广到其他粒状农产品的在线识别与检测领域。参考文献1成芳，应义斌机器视觉技术在农作物种子质量检验中的应用研究进展J农业工程学报，2001，17(6：175179Cheng Fang, Ying Yibin. Application of machine vision t

31、o quality evaluation of agricultural seed resourcesJ.Transactions of the CSAE, 2001, 17(6:175179. (inChinese with English abstract2Liao K, Paulsen M R, et al. Corn kernel breakage classification by machine vision using a neural networkclassifierJ.Trans of the ASAE, 1994, 36(6:19491953. 3宋韬，曾德超基于人工神经网络的玉米籽粒形态识别方法的研究J农业工程学报，1996，12(1：177181Song Tao, Zeng Dechao. An Investigation on Morphological Discrimination of Corn Kernels Based on Neural NetworkJ.Transactions of the CSA