最小二乘法论文.docx

1、最小二乘法论文最小二乘法 论文学 号:* HEBEI UNITED UNIVERSITY 毕业论文 GRADUATE THESIS 论文题目:最小二乘法及其应用 学生姓名:* 专业班级:08数学1班学 院:理学院 指导教师:郭小强 讲师 2012年5月25日 摘 要 摘 要 最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象、难懂常常不能被准确理解。本文探讨了最小二乘法的基本原理及其各种变形的拟合方法，其中包括:一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合和可化为线性拟合的非线

2、性拟合，并且给出了加权最小二乘法的方法，运用实例来展示最小二乘法在实践中的应用，在此基础上给出了几种最小二乘法程序的设计原理。 关键词 最小二乘法，线性拟合，曲线拟合，应用实例 -I- Abstract Abstract Least square was used to estimate parameters and identify system of regression model, by the point of error fitting. And it has widely application in the parameters estimate, system identif

3、ication, prediction, forecasting and other fields. However, the least square method because of its abstract and difficult ，often can not be accurately understanding. The least square methods principle and the various kinds of fitting methods such as the linear least square fitting, linear fitting, p

4、olynomial fitting ,and of linear fitting and nonlinear fitting， nonlinear fitting and gives the method of weighted least squares method, and the use of examples to show the least squares method application in practice, on the basis of several least-squares procedure design principle. Keywords :least

5、 square method; linear fitting; curve fitting; application examples -II- 摘 要 . I ABSTRACT . II 第1章 绪论 . 1 第2章 最小二乘法 . 3 2.1最小二乘法的定义 . 3 2.2最小二乘法的统计学原理 . 3 第3章 最小二乘法应用 . 5 3.1曲线拟合 . 5 3.1.1一元线性拟合 . 5 3.1.2多元线性拟合 . 7 3.1.3多项式拟合 . 8 3.1.4 非线性最小二乘法拟合 . 8 3.1.5 可化为线性拟合的非线性拟合 . 10 3.2 加权最小二乘法 . 11 3.2.1加权

6、最小二乘法定义 . 11 3.2.2加权最小二乘法原理 . 12 第4章 应用最小二乘法解决的实际问题 .14 4.1一元线性拟合实例 . 14 4.2 多项式拟合实例 . 15 4.3 非线性拟合 . 16 4.4 可化为线性拟合的非线性拟合 . 17 第5章 最小二乘法程序设计 .19 5.1程序设计原理 . 19 5.1.1 一元线性拟合的程序设计原理 . 19 5.1.2 多元线性拟合的程序设计原理 . 19 5.2 MATLAB对最小二乘法的实现 . 20 5.2.1 用Matlab实现曲线拟合. 20 5.2.2 实例 . 20 结 论 .23 参考文献 .24 谢 辞 .25 附

7、 录 .26 -III- 第1章 绪论 第1章 绪论 最小二乘法是一个比较古老的方法,早在十八世纪,首先创立并成功地应用于天文观测和大地测量工作中。虽然勒让德独立地运用最小二乘法是与高斯同时的，但人们一般都认为高斯在1795年(18岁)首先应用了最小二乘法。高斯创造了最小二乘法，使他能够用望远镜的观测结果来估算行星的轨道运动。 目前，有三个领域的发展越来越广泛地运用于最小二乘法，对最小二乘法估计理论和实用都带来了深刻的影响。这三个领域的发展是:近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念以及大型快速数字计算机的应用。 在每个领域中，对于最小二乘法的应用，其观测值不可能是完善无误的

8、。观测精度总是存在一个极限值，超过这个极限值，不是表达量的数学模型失效，就是测量仪器的分辨力失效，或者两者都失效。超过这个精度极限值，重复观测结果之间不会彼此符合。 例如，如果我们用米标尺和肉眼多次观测工作台的长度，那么极限精度很可能为毫米。如果我们把测量结果记录到最接近的0.1毫米，那么它们将是不一致的。 我们所希望的精度，往往超过我们所实施的观测的极限精度。在这种情况下，我们不可能知道我们所观测的物理量的真值。我们只能对真值做一个估计。我们希望这个估值是惟一的(即是用某种标准方法来求定估值，当给定同样的观测结果时，这个方法得到同样的估值)，而且我们希望知道固执的优度如何。 处理不一致的数据

9、的科学方法叫做统计学，确定唯一估值以及其优度的方法叫做统计估计法，最小二乘法是使不符值的平方和为最小的一种统计估计法。 应当着重指出，还有其他的方法也能得到唯一的估值。例如，使不符值的绝对值的和为最小的估值法，或使最大的不符值为最小的估值法。但与最小二乘法相比，这些方法至少有下述三个缺点。第一，最小二乘法适用于涉及到线性和非线性数学模型的问题，而其他两种方法仅适用于线性问题，其原因在于受到了基本连续性和可微性的限制。第二，最小二乘法估计与一个统计量(算术平均值)发生关系，这个统计量往往比与其它两种方法关联的两个统计量(它们分别是中位数和中列数)更重要。最后，最小二乘法普遍的应用于许多领域，使得

10、它成为获得唯一估值的标准方法。 本文将对最小二乘法以及在现在社会生活中应用进行叙述。第二章介绍最小二乘法定义以及原理，第三章将讨论曲线拟合，第四章将举例来进一步说明最小二乘法在实际中的应用，第五章将分析最小二乘法的程序设计原理，以及用-1- 河北联合大学理学院 matlab来实现曲线拟合。 本章主要介绍了最小二乘法的背景和统计学与最小二乘法，是我们了解了最小二乘法与统计学其他统计数据方法相比较最小二乘法的优点，最后对本文主要内容进行了介绍。-2- 第2章 最小二乘法 第2章 最小二乘法 2.1最小二乘法的定义 定义1.1 (残差):。希望尽可能小，常见方，,x,yi,1,2,？,m,iiii法

11、有: (1)选取，使偏差绝对值之和最小，即 ，,xmm，,x,y,min,iiii,1i,1(2)选取，使偏差最大绝对值最小，即 ，,x，,x,y,min iiimaxmax1,i,m1,i,m(3)选取，使偏差平方和最小，即 ，,x2mm2 称(3)为最小二乘法原则。 ,，,x,y,min,iiii,i,11定义1.2(最小二乘法):根据已知数据组，选取一个近似函数(1,2,)in,x,yii，使得 ,x2mm2,， ,x,y,iii,ii11最小。这种求近似函数的方法称为曲线拟合的最小二乘法，函数，称为这组数,x据的最小二乘函数。 2.2最小二乘法的统计学原理 基本最小二乘法，其统计学原理

12、是: 设统计量与个变量间的依赖关系式为 yx,x,？,xl12l， y,f(x,x,？,x;a,a,？,a)12l01n其中是方程中需要确定的个参数。 a,a,？,an，101n-3- 河北联合大学理学院 最小二乘法就是通过个实验点确mmn,，1(,)(1,2,)xxxyim,，iiili12定出一组参数值 , (,)aaa01n使由这组参数得出的函数值 yfxxxaaa=(,)iiiln1201间的偏差平方和 与实验值yim2 saaayy(,)(),01ni,1i取得极小值. 在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即.这时构成的方程组叫做矛盾方程

13、组.通过用最小二mn,，1乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出. aaa,01n由微分学的求极值方法可知应满足下列方程组: aaa,01n,y , (1,2,)in,0,ai这样就实现矛盾方程组向正规方程组的转换。 本章对最小二乘法做了详细的定义，使我们清楚地认识了最小二乘法。随后又对最小二乘法的统计学原理进行了阐述，使我们更清楚的了解最小二乘法的运算原理。 -4- 第3章 最小二乘法应用 第3章 最小二乘法应用 3.1曲线拟合 3.1.1一元线性拟合 设变量与成线性关系,即.现在已知个实验点 xyaax,，mxy,y01ii,求两个未知参数

14、. (1,2,)im,aa,01方法一 由最小二乘法原理,参数应使 aa,01m2 saayaax(,)(),0101ii,1i取得极小值.根据极小值的求法,和应满足 aa01m,s,2()0,yaax,01ii,a,1i,0, ,m,s,2()0,yaaxx,01iii,a,1i1,mma1,1axy，,0ii,mm,11ii, ,mmm2,axaxxy，,01iiii,111iii,这就是含有两个未知数和两个方程的正规方程组. 从中解得,即 aa,01mm,22axymxyxmx()/(),1iii (1) ,11ii,ayax,01,其中 mm11, xxyy,iimm,11ii线性相关

15、系数Rlll,/,式中 xyxxyy-5- 河北联合大学理学院 mmm2222, lxymxylxmxlymy,xyiixxiyyi,111iii相关系数是用来衡量实验点的线性特性. 方法二 将代入得矛盾方程组 xyim,(1,2,),yaax,，ii01yaax,，,1011,yaax,，,2012 (2) ,yaax,，mm01,令 y1x,11,y1x22,B, A,y1xm,m,则(2)式可写成 a,0, BA,a1,则有 a,0TT, ABAA,a1,所以 a,0TT,1. (),AAAB,a,1TT其中称为结构矩阵,称为数据矩阵,AA称为信息矩阵,AB称为常数矩阵. AB为了定量地

16、给出与实验数据之间线性关系的符合程度,可以用yaax,，01相关系数r来衡量.它定义为 mmmmxyxy,iijiiji,111. r,22mmmm，,22mxXmyy,iiii,iiii,1111,，r01,rrr值在中,值越接近1,与的线性关系越好.为正时,直线斜xyrr率为正,称为正相关;为负时,直线斜率为负,称为负相关.接近于0时,测量数-6- 第3章 最小二乘法应用 据点分散或之间为非线性.不论测量数据好坏都能求出和,所以我们必须有aa01一种判断测量数据好坏的方法,用来判断什么样的测量数据不宜拟合,判断的方法是时,测量数据是非线性的。称为相关系数的起码值,与测量次数有rr,rn00

17、关,如图表所示。 表3-1 相关系数起码值 r0nnn rrr0003 1.000 9 0.798 15 0.641 4 0.990 10 0.765 16 0.623 5 0.959 11 0.735 17 0.606 6 0.917 12 0.708 18 0.590 7 0.874 13 0.684 19 0.575 8 0.834 14 0.661 20 0.561 在进行一元线性拟合之前应先求出r值,再与比较,若rr,则和具rxy00有线性关系,可求回归直线;否则反之。 3.1.2多元线性拟合 n设变量与个变量间存在线性关系,.设变量的第次nxyaax,，xyi,j0jj,j1测量值

18、为,对应的函数值为,则偏差平方和 yim(1,2,),xijimmn22 saaayyyaax(,)()(),010niijij,111iij为使取极小值,得正规方程组为: smn,s,2()0yaax,ijij0,aij,110,mn,s,2()0yaaxx,ijiji01,a, ij,11,1,mn,s,2()0yaaxx,ijijin0,aij,11n,-7- 河北联合大学理学院 即 nmm,maxay，,0,ijji,111jii,. kn,1,2,mnmm,()xaxxaxy，,0ikijikjiki,1111,jjii,将实验数据代入上述正规方程组中,即得出未知参数. aaa,(,

19、)xy01niji3.1.3多项式拟合 njj对于次多项式,令,则可转化为线性形式xxjn,(0,1,2,)nyax,jjj,0nj这是曲线化直.对于个实验点有,代入多元线xx,yaax,，im,1,2,iji0jj,j1性拟合的正规方程: nmmmnmm, maxayxaxxaxy()()，,，,00ijjiikijikjiki,1111111jiiijii,可直接得出多项式最小二乘拟合的正规方程: nmm,jk， ; (0,1,2,)kn,xaxy,ijiki,jii011,矩阵形式: 0120n，xxxxxya，,iiiiii0,，12311nxxxxxya,iiiiii1,，23422n, ,xxxxxya,iiiiii2,nnnnmn，12,xxxxxyaiiiiii,n，m,式中代表,这是一个具有个参数和个方程的线性方aaaa,n，1n，1012n,i,1程组,可用高斯迭代法求出这些未知参数,得出回归方程。 3.1.4 非线性最小二乘法拟合 将非线性关系直接代入偏差平方和表达式中,yfxxxbbb,(,)1212in-8- 第3章 最小二乘法应用 采用极小值的求法得出的数值,此方法常常较为繁琐.为此,先将函数bbb,1