苹果可溶性固形物NIR线性模型建立.docx
《苹果可溶性固形物NIR线性模型建立.docx》由会员分享,可在线阅读,更多相关《苹果可溶性固形物NIR线性模型建立.docx(22页珍藏版)》请在冰点文库上搜索。
苹果可溶性固形物NIR线性模型建立
本科生毕业论文
苹果可溶性固形物NIR线性模型建立
院系 化学化工学院
专业 食品科学与工程
班级 071班
学号
学生姓名
联系方式
指导教师职称:
副教授
2011年5月
独创性声明
本人郑重声明:
所呈交的毕业论文是本人在指导老师指导下取得的研究成果。
除了文中特别加以注释和致谢的地方外,论文中不包含其他人已经发表或撰写的研究成果。
与本研究成果相关的所有人所做出的任何贡献均已在论文中作了明确的说明并表示了谢意。
签名:
年 月 日
授权声明
本人完全了解许昌学院有关保留、使用本科生毕业论文的规定,即:
有权保留并向国家有关部门或机构送交毕业论文的复印件和磁盘,允许毕业论文被查阅和借阅。
本人授权许昌学院可以将毕业论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编论文。
本人论文中有原创性数据需要保密的部分为:
无。
签名:
年 月 日
指导教师签名:
年 月 日
摘要
本文以红富士苹果为样品,研究可见/近红外光谱技术进行苹果糖度的无损检测方法。
采集苹果的漫透射光谱(500-1010nm),采用杠杆值(阈值为0.136)与学生残差(阈值为3)检验判别方法剔除异常样本,考察了不同的光谱信号校正方法对光谱噪声消除的效果,并对处理后光谱进行变量优选,分别建立PLS和SMLR,PCR苹果糖度的校正模型,以RPD值评价模型稳健性,比较可得SMLR最优,其R=0.940,RMSEC=0.483,RMSEP=0.545,RPD=2.400。
结果表明:
在诸如苹果糖度这一类农产品品质综合指标的光谱检测中,应用SMLR建模进行定量分析是完全可行的。
关键词:
可见/近红外光谱;无损检测;苹果;糖度
ABSTRACT
Inthispaper,Fujiapplesampleswereusedtostudythevisible/nearinfrared(Vis/NIR)spectroscopyfornondestructivetestingmethodforsoublesolidscontent.Apple'sdiffusereflectancespectra(500-1010nm)werecollectedbyportableVis/NIRspectrometer.TheperformanceofdifferentsignalcorrectionmethodswereevaluatedafterremovingabnormalsamplesaccordingtotheStudentizedResidual(3)andLeverage(0.136)testmethods.PLS,SMLRandPCRcalibrationmodelswereconstructedtopredicttheSSCofFujiapplewhicharebasedontheselectionofspectralvariables.RPDvaluewasusedtoevaluatemodelrobustness,comparethebestavailableSMLR,theR=0.940,RMSEC=0.483,RMSEP=0.545,RPD=2.400.Theresultsshowedthat:
inthesoublesolidscontentofthistypeofagriculturalproductssuchasApple'scomprehensiveindexofthequalityofspectraldetection,theapplicationofSMLRmodelforquantitativeanalysisisfeasible.
Keywords:
Visible/nearinfraredspectroscopy;Non-destructivemeasuring;Apple;Soublesolidscontent(SSC)
缩略词
PLS,PartialLeastSquares,偏最小二乘法
MLR,MultipleLinearRegression,多元线性回归法
MSC,MultiplicativeScatterCorrection,多元散射校正
PRESS,PredictionResidualErrorSumofSquares,预测残差平方误差总和
R,CorrelationCoefficient,相关系数
RMSEC,theRootMeanSquareErrorofCalibration,校正均方根偏差
RMSECV,theRootMeanSquareErrorofCrossValidation,内部交叉验证均方根偏差
RMSEP,theRootMeanSquareErrorofPredication,预测均方根偏差
SMLR,StepwiseMultipleLinearRegression,逐步多元线性回归法
SSC,SolubleSolidContent,可溶性固形物
SNV,StandardNormalVariety,标准正态变量变化
苹果可溶性固形物NIR线性模型建立
1前言
苹果是我国主要的水果之一,近年来,随着人们生活水平的日益提高,不论是出口还是内销,人们对水果的质量要求都越来越高。
水果的品质已不能单从外观来判断,而需要通过对水果的糖度、硬度、酸度等各项指标来评定。
消费者对于水果内部品质如糖度、口感和内部营养成分等指标也极为重视。
传统的检测方法是通过抽样方式进行破坏性检测,制样繁琐且检测成本高,已无法满足水果快速分级分选的现实要求。
近红外光谱分析技术与传统化学方法相比,具有廉价、方便、快速和无损伤等特点,在农产品评价方面有广泛的应用价值[1-3]。
多篇综述性评论文章[4-5],均报道了近红外光谱技术在水果的品质无损评价中的应用。
近红外光谱技术被称为“具有解决全球农业分析的潜力。
”
国内外学者利用近红外光谱技术在水果糖分含量无损检测方面做过相关研究,LammertynJeroen等(2000)[6]在11363-6060cm-1范围内利用光纤探头对Jonadold苹果糖分含量进行了近红外光谱反射特性的试验研究,通过偏最小二乘法分析得出两者的相关系数在0.79-0.91之间;杜冉,闸建文,付家庭等[7]通过运用近红外透射光谱技术快速分析了苹果的糖度和硬度,使用偏最小二乘法建立预测模型,得出校正集苹果糖度的最佳主因子维数为3,相关系数R为0.9943,校正标准差为0.2476;校正集苹果硬度交叉校验的最佳主因子维数为3,相关系数R为0.9644,校正标准差为0.3529.周丽萍[8]采用偏最小二乘回归交互验证法建立预测模型完全不能预测苹果的硬度,对苹果糖度的预测相关系数为0.585,相关性较低;而偏最小二乘回归杠杆值校正法对苹果的糖度和硬度的预测相关系数分别为0.994、0.99,验证集均方根误差分别为0.099、0.071,预测速度快、精度高。
本文以富士苹果为对象,采集可见光/近红外光谱漫透射,采用杠杆值与学生残差T检验进行异常样本筛选,分别建立苹果糖度的主成分分析(PCR),偏最小二乘法(PLS)和多元线性回归(SMLR)模型,并对模型的稳健性进行了比较。
2近红外光谱分析的基本原理
2.1近红外分析原理
近红外光是指波长范围为780~2526nm,介于可见/和中红外区之间的电磁波。
当分子受到红外线照射时,被激发产生共振,同时光的能量一部分被吸收,测量其吸收光,可以得到极为复杂的图谱,这种图谱就表示被测物质的特征[9-10]。
近红外光谱是由于分子振动的非谐振性使分子振动从基态向高能级跃迁时产生的,它记录的是分子中单个化学键的基频振动的倍频和合频信息,它常常受含氢基团X—H(C、N、O)的倍频和合频的重叠主导,所以在近红外光谱范围内,测量的主要是含氢基团X—H振动的倍频和合频吸收[11-12]。
苹果内部组分十分丰富,不同组分含氢基团较多,水是苹果中最丰富的组成成分,占苹果重量的85%-90%左右,苹果的可溶性固形物约占9%~20%,含量高,信号强,适宜光谱的采集和分析。
2.2苹果光谱采集模式
光谱的采集方式分为漫反射、透射和漫透射,如图1所示(Nicolaietal.,2007),不同的光谱采集方式具有不同的特点,可以满足不同的检测要求[4]。
漫透射和透射适宜苹果内部水心、褐腐病、鸭梨内部褐变等果皮较厚的果实。
其优缺点是:
①可以测量果实整体,②可以测量厚皮果品,③可以检测果实内部特征,④只限于易透光物料,⑤需要配置高灵敏度、高动态范围检测器。
图1采集方式图
2.3数据处理方法
2.3.1光谱预处理方法
本文主要采用标准正态化、平滑、求导、多元散射校正(MultiplicativeScatterCorrection,MSC)进行光谱预处理:
(1)微分法
微分法可以减少谱峰重叠影响,消除基线漂移。
通常可分为一阶微分、二阶微分、高阶微分等,其中一、二阶微分最常用。
(2)卷积平滑(Savitky-Golaysmoothing)
S-G平滑[13]方法是一种用多项式处理数据的平滑方法,它基于最小二乘法原理,能够保留分析信号中的有用信息,消除随机噪声,但是过度平滑会失去有用信息。
(3)Norris平滑滤波[14]
Norris平滑滤波是由KarlNorris与1957年提出的一种滤波方法。
(4)多元散射校正(MSC)
MSC可补偿在反射光谱中遇到的波长依赖的光散射变化,目的是校正每个光谱的散射并获得“理想”的光谱。
具体计算公式如下[15]:
平均光谱:
(1)
线性回归:
(2)
MSC校正:
(3)
(5)标准正态化(SNV)
标准正态化主要是用来消除固体颗粒大小、表面散射以及光程变化对NIR漫反射光谱的影响。
SNV是原光谱xi减去该光谱的平均值xi后,再除以该光谱数据的标准偏差s,实质是使原光谱数据标准正态化。
2.3.2异常样品剔除
所谓异常样品,是由于实验测量或仪器本身测量引起的浓度标准值或光谱数据存在较大误差的样品,本研究采用的异常值剔除方法为样品杠杆值与学生残差T检验判别方法和狄克松(Dixon)检验法进行剔除。
T检验法是选择学生残差值为3和3倍的杠杆值作为临界值。
当学生残差值大于3,当Leverage值超过临界值时,则认为是化学值可能有错误;通过进一步考察化学值是否极大或极小,可以考虑是否剔除该样品。
狄克松(Dixon)检验法,对可疑的样品剔除是根据Rank值作为临界值,当光谱数据大于Rank值即为光谱异常。
2.3.3建模方法及评价
采用偏最小二乘法,主成分分析和多元线性回归建立数学模型,数据分析与模型建立使用智能定量分析软件TQAnalystV8.0(ThermoScientific,USA)软件完成。
2.3.3.1偏最小二乘法(PartialLeastSquares,PLS)
偏最小二乘法(PLS)[16]能同时对x矩阵和y矩阵做分解,消除其中无用的信息。
PLS的优点是:
(1)可以使用全部或部分光谱数据:
(2)数据矩阵分解和回归交互结合为一步,得到的特征向量与被测组分或性质相关,而不是与数据矩阵中变化最大的变量相关;(3)比较适用于小样本多元数据分析:
(4)可以适用于复杂的分析体系。
PLS的缺点是:
(1)计算速度相对较慢,计算过程复杂,需要多次迭代;
(2)模型建立过程复杂,较抽象,难理解。
故本实验首先用PLS进行建模。
2.3.3.2主成分分析法(PrincipalComponentsRegression,PCR)
主成分分析法[17](PCR)在化学计量学建模预测方法中最为常用。
它是一种简化数据集的技术。
在建模的过程中很多变量都会在不同程度上影响模型的精度,而变量太多模型就会变得非常复杂。
2.3.3.3多元线性回归校正(MLR)
多元线性回归(MultiplelinearRegression,简称MLR)[18]用于校正一般属于直接校正方法。
但在很多校正方法中,都用到了多元线性回归的基本原理,它是将纯组分灵敏度系数构成的矩阵直接代替化学测量模型中的系数矩阵B,然后其求未知样本浓度的方法。
2.3.3.4校正模型的评价
近红外光谱预测模型的质量评定一般采用相关系数(R)、内部交叉验证均方根偏差差(RMSECV)、预测均方根偏差(RMSEP)、预测相对标准偏差(RPD)来评定[15]。
(1)相关系数(R)
(4)
其中:
yi为通过光谱测量及数学模型预测的结果;zi为用标准方法测得的结果;
(2)校正均方根偏差(RMSEC)
(5)
其中n为校正集样品数。
(3)预测均方根偏差(RMSEP)
(6)
其中m为预测集样品数。
(4)预测相对标准偏差(RPD)
(7)
2.4检测流程
水果近红外光谱检测流程主要包括如下几个方面(图2):
近红外光谱检测水果样品中某种内部成分的具体过程为:
选择一定数量且具有代表性的水果样品(又称标准样品集)。
用近红外光谱仪采集水果的近红外光谱。
用常规理化分析方法准确测定各个水果要预测的成分含量,并作为实测值。
应用化学计量学分析软件建立水果近红外光谱和成分分析值之间的数学模型。
利用已建立的定量数学模型对未知样品进行预测和精度分析。
图2水果近红外光谱检测流程
3实验部分
3.1实验仪器与材料
实验采用日本Kubota株式会社的便携式近红外光谱仪(KBA-100R型),配备光纤采集附件,采用CCD检测器。
该仪器采用内置光源,发光光纤束为环形设计,其外径为39.5mm,内径为38.7mm,受光光纤束位于环形发光光纤束中心,直径为5mm。
光谱测量波长范围500-1010nm,波长点间隔2nm,共有256个数据点。
手持数字式糖度仪PAL-1型(Atago,Japan)测量糖度,读数结果为%Brix,具备自动温度校正功能。
供试样品为市售红富士苹果,产于新疆阿克苏地区。
样品无明显外部缺陷,颜色较均匀,直径范围为76.8-84.6mm,平均值为80.2mm,标准偏差3.21。
实验前将苹果置于实验室(26℃,相对湿度64%)8小时至室温,苹果样品的光谱采集和标准值测定当天完成。
3.2数据采集
3.2.1光谱数据采集
由于苹果为不均匀物料,其生长过程中向阳面和阴面的糖度并不相同,因此,生产中多测量苹果表面多个点的糖度值,平均后作为其品质评价指标。
在每个苹果样品赤道圈上等距离标定4个测试区域(直径约为40mm),每个测试区域避免明显缺陷,在同一区域进行光谱采集和糖度测定。
四点光谱的平均光谱作为该样品的最终光谱如图3所示,共有202样本光谱。
图3苹果近红外原始光谱图
从图3可以看出,图谱在500-1010nm范围内较为明显,包含丰富的信息。
反映苹果糖度等内部品质的含H基团如:
C-H、N-H、O-H、H2O的特征波长分别在900、800、750、740nm等波数峰值处,波峰强度有较为明显的变化,鲜明的吸收特征为苹果的含糖量和硬度定量分析提供了丰富的信息基础。
3.2.2标准值测定
糖度的测定:
苹果的糖度测定具体参照食品卫生检验方法理化部分总则(GBPT500911—2003)。
用手持数字式糖度仪PAL-1型(Atago,Japan)测量糖度,单位%Brix。
3.3数据预处理
3.3.1数据分集
(1)异常值剔除
根据Rank值作为临界值剔除4个样品(31﹟、72﹟、109﹟、139﹟)如图4所示:
图4光谱异常样品剔除
根据平均杠杆值0.045的3倍和学生残差3作为临界值的T检验法剔除6个样品(5﹟、80﹟、197﹟、34﹟、66﹟、202﹟)如图5所示:
图5化学值异常样品剔除
(2)数据分集
剔除10个异常样品共192余下个样品按预测集与建模集比例为3:
1进行分集,其中145个样品作为建模样品集,剩余47未参与建模的样品作为预测样品集,用于评价模型的预测能力和稳健性。
建模和预测集样品可溶性固形物含量真实值的详细分布情况如表1所示。
表1建模和预测集样品SSC(%Brix)含量真实值分布
样本数
平均值
最大值
最小值
标准偏差
变异系数%
校正集
145
15.98
19.55
12.08
1.42
8.89
预测集
47
15.96
18.58
12.63
1.31
8.19
3.3.2光谱预处理
由检测器检测到的光谱信号除含样品待测成分信息外,还包括各种仪器噪声,如高频随机噪声、基线漂移、杂散光、样品背景等。
因此,对测量的光谱进行合理的处理,减弱以至于消除各种非目标因素对光谱信息的影响,为稳定、可靠的校正模型建立奠定基础。
标准正态化主要是用来消除固体颗粒大小、表面散射以及光程变化对NIR漫反射光谱的影响。
经SNV处理后的光谱如图6所示:
图6经SNV预处理后的光谱图
经多元散射校正方法(MSC)预处理的光谱图如图7所示,它有效地消除样品由于散射影响所产生的光谱噪声、基线平移和偏移现象,提高原吸光度光谱的信噪比,增强待测样品成分含量与吸光度之间的相关性,明确待测成分在近红外波段的特征吸收位置,为波长的优选提供了依据。
图7经MSC预处理后的光谱图
经一阶微分处理后的光谱如图8所示,它使线性背景达到固定值,有效地消除了基线漂移。
经过一阶导数据处理的光谱的波峰和波谷比原始光谱更为明显。
图8经一阶导预处理后的光谱图
经二阶微分处理后的光谱图如图9所示,二阶微分使线性背景为0,同时消除了平移和线性倾斜。
图9经二阶导预处理后的光谱图
3.4建模及模型评价
模型采用外部验证法对其性能进行评价,由相关系数(R)、建模均方均根误差(RMSEC)、交互验证均方根误差(RMSECV)和预测均方根误差(RMSEP)进行评价。
R越大,RMSEC、RMSECV和RMSEP越小,RPD值接近3,模型的预测能力越强。
3.4.1偏最小二乘法(PLS)
采用PLS法建立定量校正模型时,为充分提高光谱信号的利用率,需要对主因子的阶数进行合理选择,以避免出现“欠拟合”或“过拟合”现象。
本文采用内部交叉验证法,选择了最佳建模主因子数,建立了稳定的模型。
苹果糖度的PLS主因子数和RMSECV值的相关关系图如图11所示,从图中可以看出选择12个主因子建模时,校验误差最小,模型最稳定,故最佳因子数为12。
图11苹果SSCPLS建模结果主因子数
在软件建议默认光谱范围606-618、620-894nm范围内建模比较经SNV,二阶导和Norris平滑处理的模型较好,建模结果如图10所示,其R=0.938,RMSEC=0.490,RMSEP=0.577。
3.4.2主成分分析(PCR)
在软件建议默认光谱范围606-618、620-894nm范围内建模比较可得光谱预处理为SNV,二阶导,Norris平滑处理的结合模型较好,建模结果如图12所示,其R=0.910,RMSEC=0.590,RMSEP=0.592。
图12苹果SSCPLS建模结果散点图
3.4.3逐步多元线性回归(SMLR)
软件建议光谱范围选取656、964、758、824、862、910、882nm共7个点,经建模比较光谱预处理为SNV,原光谱,不做平滑处理的结合模型较好,建模结果如图13所示,其R=0.940,RMSEC=0.483,RMSEP=0.545。
图13苹果SSCSMLR建模结果散点图
4结果与讨论
将上述建模结果汇总,汇总结果如表2所示,从表2可以看出三种建模方法的相关系数均大于0.85,根据R越大,RMSEC、RMSECV和RMSEP越小,RPD值接近3,模型的预测能力越强。
故其中SMLR的预测效果最好,其R=0.940,RMSEC=0.483,RMSEP=0.545,RPD=2.40。
可见在诸如苹果糖度这一类农产品品质综合指标的光谱检测中,应用SMLR建模进行定量分析是完全可行的。
建模方法
最佳因子数
R
光谱数据/nm
RMSEC
RMSEP
RPD
PLS
12
0.938
606-618
620-894
0.490
0.577
2.27
PCR
15
0.910
606-618
620-894
0.590
0.592
2.21
SMLR
7
0.940
656,964
758,824
862,910
882
0.483
0.545
2.40
表2各模型校正和预测结果
参考文献
[1]应义斌,刘燕德.水果内部品质光特性无损检测研究及应用[J].浙江大学学报(农业与生命科学),2003,29
(2):
125-129.
[2]王加华,陈卓等.洋梨硬度的便携式可见/近红外漫透射检测技术[J].农业机械学报,2010,44(11):
130-133.
[3]章海亮,孙旭东,刘燕德等.近红外光谱检测苹果可溶性固形物[J].农业工程学报,2009,25
(2):
340-344.
[4]NicolaïBM,BeullensK,BobelynE,etal.NondestructivemeasurementoffruitandvegetablequalitybymeansofNIRspectroscopy:
Areview.PostharvestBiologyandTechnology,2007,46:
99–118.
[5]韩东海,王加华.水果内部品质近红外光谱无损检测研究进展[J].中国激光,2008,35(08):
1123-1131.
[6]LammertynJeroen,PeirsAnn,etal.LightpenetrationpropertiesofNIRradiationinfruitwithrespecttonondestructivequalityassessment[J].PostharvestBiologyandtechnology,2000,18:
121-132.
[7]杜冉,闸建文,付家庭等.运用近红外透射光谱技术检测苹果内部品质[J].农机化研究,2008(9):
139-141.
[8]周丽萍.基于可见/近红外光谱技术的圣女果和苹果品质检测技术研究[D].西安:
西北农林科技大学,2009.
[9]BlancoMandVillarroyaI.NIRspectroscopy:
arapid-responseanalyticaltool.Trendsinanalytical