最小二乘法论文.docx

资源描述

最小二乘法论文.docx

《最小二乘法论文.docx》由会员分享，可在线阅读，更多相关《最小二乘法论文.docx（35页珍藏版）》请在冰点文库上搜索。

最小二乘法论文.docx

最小二乘法论文

学号:

************

HEBEIUNITEDUNIVERSITY

毕业论文

GRADUATETHESIS

论文题目:

最小二乘法及其应用

学生姓名:

***

专业班级:

08数学1班

学院:

理学院

指导教师:

郭小强讲师

2012年5月25日

摘要

最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。

然而，最小二乘法因其抽象、难懂常常不能被准确理解。

本文探讨了最小二乘法的基本原理及其各种变形的拟合方法，其中包括:

一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合和可化为线性拟合的非线性拟合，并且给出了加权最小二乘法的方法，运用实例来展示最小二乘法在实践中的应用，在此基础上给出了几种最小二乘法程序的设计原理。

关键词最小二乘法，线性拟合，曲线拟合，应用实例

-I-

Abstract

Leastsquarewasusedtoestimateparametersandidentifysystemofregressionmodel,bythepointoferrorfitting.Andithaswidelyapplicationintheparametersestimate,systemidentification,prediction,forecastingandotherfields.However,theleastsquaremethodbecauseofitsabstractanddifficult，oftencannotbeaccurately

understanding.Theleastsquaremethod’sprincipleandthevariouskindsoffitting

methodssuchasthelinearleastsquarefitting,linearfitting,polynomialfitting,andoflinearfittingandnonlinearfitting，nonlinearfittingandgivesthemethodofweighted

leastsquaresmethod,andtheuseofexamplestoshowtheleastsquaresmethodapplicationinpractice,onthebasisofseveralleast-squaresproceduredesignprinciple.

Keywords:

leastsquaremethod;linearfitting;curvefitting;applicationexamples

-II-

摘要.......................................................................................................................I

ABSTRACT..................................................................................................................II

第1章绪论.............................................................................................................1

第2章最小二乘法.................................................................................................3

2.1最小二乘法的定义................................................................................................................32.2最小二乘法的统计学原理....................................................................................................3第3章最小二乘法应用.........................................................................................5

3.1曲线拟合................................................................................................................................5

3.1.1一元线性拟合................................................................................................................5

3.1.2多元线性拟合................................................................................................................7

3.1.3多项式拟合....................................................................................................................8

3.1.4非线性最小二乘法拟合...............................................................................................8

3.1.5可化为线性拟合的非线性拟合.................................................................................103.2加权最小二乘法.................................................................................................................11

3.2.1加权最小二乘法定义..................................................................................................11

3.2.2加权最小二乘法原理..................................................................................................12第4章应用最小二乘法解决的实际问题.............................................................14

4.1一元线性拟合实例..............................................................................................................144.2多项式拟合实例.................................................................................................................154.3非线性拟合.........................................................................................................................164.4可化为线性拟合的非线性拟合.........................................................................................17第5章最小二乘法程序设计.................................................................................19

5.1程序设计原理......................................................................................................................19

5.1.1一元线性拟合的程序设计原理.................................................................................19

5.1.2多元线性拟合的程序设计原理.................................................................................195.2MATLAB对最小二乘法的实现..............................................................................................20

5.2.1用Matlab实现曲线拟合............................................................................................20

5.2.2实例.............................................................................................................................20

结论.....................................................................................................................23

参考文献.................................................................................................................24

谢辞.......................................................................................................................25

附录.......................................................................................................................26

-III-

第1章绪论

最小二乘法是一个比较古老的方法,早在十八世纪,首先创立并成功地应用于天文观测和大地测量工作中。

虽然勒让德独立地运用最小二乘法是与高斯同时的，但人们一般都认为高斯在1795年（18岁）首先应用了最小二乘法。

高斯创造了最小二乘法，使他能够用望远镜的观测结果来估算行星的轨道运动。

目前，有三个领域的发展越来越广泛地运用于最小二乘法，对最小二乘法估计理论和实用都带来了深刻的影响。

这三个领域的发展是:

近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念以及大型快速数字计算机的应用。

在每个领域中，对于最小二乘法的应用，其观测值不可能是完善无误的。

观测精度总是存在一个极限值，超过这个极限值，不是表达量的数学模型失效，就是测量仪器的分辨力失效，或者两者都失效。

超过这个精度极限值，重复观测结果之间不会彼此符合。

例如，如果我们用米标尺和肉眼多次观测工作台的长度，那么极限精度很可能为毫米。

如果我们把测量结果记录到最接近的0.1毫米，那么它们将是不一致的。

我们所希望的精度，往往超过我们所实施的观测的极限精度。

在这种情况下，我们不可能知道我们所观测的物理量的真值。

我们只能对真值做一个估计。

我们希望这个估值是惟一的（即是用某种标准方法来求定估值，当给定同样的观测结果时，这个方法得到同样的估值），而且我们希望知道固执的优度如何。

处理不一致的数据的科学方法叫做统计学，确定唯一估值以及其优度的方法叫做统计估计法，最小二乘法是使不符值的平方和为最小的一种统计估计法。

应当着重指出，还有其他的方法也能得到唯一的估值。

例如，使不符值的绝对值的和为最小的估值法，或使最大的不符值为最小的估值法。

但与最小二乘法相比，这些方法至少有下述三个缺点。

第一，最小二乘法适用于涉及到线性和非线性数学模型的问题，而其他两种方法仅适用于线性问题，其原因在于受到了基本连续性和可微性的限制。

第二，最小二乘法估计与一个统计量（算术平均值）发生关系，这个统计量往往比与其它两种方法关联的两个统计量（它们分别是中位数和中列数）更重要。

最后，最小二乘法普遍的应用于许多领域，使得它成为获得唯一估值的标准方法。

本文将对最小二乘法以及在现在社会生活中应用进行叙述。

第二章介绍最小二乘法定义以及原理，第三章将讨论曲线拟合，第四章将举例来进一步说明最小二乘法在实际中的应用，第五章将分析最小二乘法的程序设计原理，以及用

-1-

河北联合大学理学院

matlab来实现曲线拟合。

本章主要介绍了最小二乘法的背景和统计学与最小二乘法，是我们了解了最小二乘法与统计学其他统计数据方法相比较最小二乘法的优点，最后对本文主要内容进行了介绍。

-2-

第2章最小二乘法

第2章最小二乘法2.1最小二乘法的定义

定义1.1（残差）:

。

希望尽可能小，常见方，，，，,,,x,yi,1,2,？

m,iiii法有:

（1）选取，使偏差绝对值之和最小，即，，,x

，，,,,x,y,min,,iiii,1i,1

（2）选取，使偏差最大绝对值最小，即，，,x

，，,,,x,y,miniiimaxmax1,i,m1,i,m

（3）选取，使偏差平方和最小，即，，,x

2mm2称（3）为最小二乘法原则。

,，，,,,x,y,min,,iiii,i,11

定义1.2（最小二乘法）:

根据已知数据组，，选取一个近似函数（1,2,,）in,…x,yii，，，使得,x

2mm2,,，，,,,x,y,,iii,,ii11

最小。

这种求近似函数的方法称为曲线拟合的最小二乘法，函数，，称为这组数,x

据的最小二乘函数。

2.2最小二乘法的统计学原理

基本最小二乘法，其统计学原理是:

设统计量与个变量间的依赖关系式为yx,x,？

xl12l

，y,f（x,x,？

x;a,a,？

a）12l01n

其中是方程中需要确定的个参数。

a,a,？

an，101n

-3-

河北联合大学理学院

最小二乘法就是通过个实验点确mmn,，1（,,,,）（1,2,）xxxyim……,,，，iiili12

定出一组参数值

（,,,）aaa…01n

使由这组参数得出的函数值

yfxxxaaa=（,,,,,,,）……iiiln1201

间的偏差平方和与实验值yi

m2saaayy（,,,）（）…,,,01ni,1i

取得极小值.

在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即.这时构成的方程组叫做矛盾方程组.通过用最小二mn,，1

乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出.aaa,,,…01n

由微分学的求极值方法可知应满足下列方程组:

aaa,,,…01n

y,（1,2,,）in,…0,,ai

这样就实现矛盾方程组向正规方程组的转换。

本章对最小二乘法做了详细的定义，使我们清楚地认识了最小二乘法。

随后又对最小二乘法的统计学原理进行了阐述，使我们更清楚的了解最小二乘法的运算原理。

-4-

第3章最小二乘法应用

第3章最小二乘法应用3.1曲线拟合

3.1.1一元线性拟合

设变量与成线性关系,即.现在已知个实验点xyaax,，mxy,y01ii

求两个未知参数.（1,2,,）im,…aa,01

[方法一]由最小二乘法原理,参数应使aa,01

m2saayaax（,）（）,,,,0101ii,1i

取得极小值.根据极小值的求法,和应满足aa01

m,s,2（）0,,,,,yaax,01ii,,a,1i,0,,m,s,2（）0,,,,,yaaxx,01iii,,a,1i1,

mma1,1axy，,,,0ii,mm,,,11ii,,mmm2,axaxxy，,,,,01iiii,,,,111iii,

这就是含有两个未知数和两个方程的正规方程组.

从中解得,即aa,01

mm,22axymxyxmx（）/（）,,,,,,1iii

（1）,,,11ii

ayax,,01,

其中

mm11,xxyy,,,,,iimm,,11ii

线性相关系数Rlll,/,式中xyxxyy

-5-

河北联合大学理学院

mmm2222,lxymxylxmxlymy,,,,,,,,,,,xyiixxiyyi,,,111iii

相关系数是用来衡量实验点的线性特性.

[方法二]将代入得矛盾方程组xyim,（1,2,,）,yaax,，ii01

yaax,，,1011,yaax,，,2012

（2）,

yaax,，mm01,

令

y1x,,,,11,,,,y1x22,,,,B,,,A,,,,,

,,,y1xm,,m,,

则

（2）式可写成

a,,0,BA,,,a1,,则有

a,,0TT,ABAA,,,a1,,所以

a,,0TT,1.（）,AAAB,,a,,1

TT其中称为结构矩阵,称为数据矩阵,AA称为信息矩阵,AB称为常数矩阵.AB

为了定量地给出与实验数据之间线性关系的符合程度,可以用yaax,，01