数据分析与筛选Word文档下载推荐.docx
《数据分析与筛选Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《数据分析与筛选Word文档下载推荐.docx（9页珍藏版）》请在冰点文库上搜索。
—2
2^2
鼻2分布/2"
"
:
若随机变量Xi,X2,X3,……Xn相互独立，都服从标准正态分布
N（0,1），则随机变量
222
Y二YY22..Y2n
是服从自由度n的分布，记丫~t（n）。
T」
Vy/n服从自由度为n的t分布，记为T~t（n）。
F分布F（n1,n2）
若X~32（nJ,Y~沪（n2）,且相互独立，则随机变量
X/Y
mn2
服从自由度为（n1,n2）的F分布，记为F~F（n1,n2）。
在对随机现象的观察和研究中，人们发现有许多随机变量，它们是由大量的相互独立的随机因素的综合影响而形成的，而其中每个因素在总的影响中所起的作用又很小，且各因素的作用还是相对均匀的，则这种随机变量往往服从或近似服从正态分布。
数据分析在生活中的运用非常广泛，最住要的体现是在销售利益、性能测试等的方面。
下面是数学建模中常用的数据分析类型。
22异常数据的挖掘和处理[1]
在预测与决策时，经常需要对所要研究的对象进行分析和收集数据，从大量的统计数据中找规律，而这些数据真实与否直接影响分析结论的科学性。
在多数情况下会发现，统计来的数据是按照某一规律且起伏并不是很大，但其中都可能混有“异
常数据”，这些异常数据是由异常因素（例异常时间、干扰或误差等）造成的与大多数观察值不一致。
有些异常值可能是在统计时度量或执行错误所得到的，在分析过程中应剔除的，但有些数据非任何统计错误所致不能简单地剔除，否则可能导致重要的隐藏信息丢失[2，特别有些异常数据非常有价值，若剔除则可能影响到结论的科学性。
因此，对于异常数据的挖掘及处理（利用）是值得研究的问题。
]
异常数据的挖掘方法
所谓数据挖掘就是按照既定的目标，对大量的统计数据进行探索，揭示隐藏其中的规律并进一步将之模型化的一种先进有效的方法。
对异常数据的挖掘我们认为实际上就是识别统计数据是否为异常值，挖掘过程实际上是识别过程，可以用以下几种方法进行挖掘：
3（T检测法[2]
一般统计数据若没有明显的上升或下降趋势（若是时间序列一般为平稳的时间序列），都分布在其均值周围，标准差C能反映其离散程度。
统计数据可以是来自某一总体的样本。
如果是一般总体，可以由概率统计中的切贝谢夫不等式知道，对于任意的0&
>
，有：
-2
P{|X-E（X）|_；
}一飞
z
<
J21
特别地有，P{|X-E（X）I—3门乞■2=1即统计数据与其均值的偏差超过
3）9
3c比例不超过1/9则由不等式P{|X-E（x）|_3门=2[1-'
（3）]=0.027，即在正态分布下统计数据与平均值的离差大于3二的概率仅为0.27%，所以可将那3c些有均值之差的绝对值超过3c的统计数据视为异常数据。
根据概率论中的中心极
限定理，
因此3c检测法在实际中比较常用。
当然它的局限性是只适用于单维异常数据的挖掘。
2.3利用聚类分析法对数据处理
聚类分析又称群分析，是研究分类问题的一种多元统计方法。
在聚类分析的过程中，将样品或变量按相互之间距离的大小或由相似系数反映出的相近性聚成若干类，常用的距离有欧氏距离、马氏距离、兰氏距离等，马氏距离可以排除指标之间相关性的干扰且不受量纲的影响，最为实用。
根据聚类的结果，距离较小或相似系数大的可以聚为一类，但最终聚成几类，并没有严格的限制。
如果存在几个样品，聚合成哪一类都不合适，或与其它样品的距离都比较远，那么就可断定这些样品数据为异常数据。
1、数据在聚类分析之前要进行数据的变换，常用的方法有
a中心化变换：
x*书-x（i=1,2,3,...m）
变换后的数据均值为0，而协方差不变。
B.标准变换：
Xij—Xj
x*丿L（i=1,2，…
Sj
其中S是标准差；
变换后的数据每个变量的样本均值为0，而且标准变换后
的数据与变量的量纲无关；
2、由聚类分析法的基本思想，即可得出
1数据变换：
常用的数据变换方法在上面已经详细举出。
数据变换的目的时为了便于计算和比较，或改变数据的结构；
2计算n各样品两两间的距离，得到样品间的距离（常用欧式距离）矩阵D（0）；
3初始（第一步：
i=1）n个样品各自构成一类，类的个数k=n，第i类Gi={x（ij）}（i1,2,...n），此时类的间距就是样品距离，然后对样品X（i）（i=1,2,...,n）执行并类过程④和⑤；
4对步骤3得到的距离矩阵DiJ，合并类间距离最小的两类为一新类，此时类
的总个数k减少一类，即k=n-i+1;
5计算新类与其他类的距离，得到新的距离矩阵，若合并后的总个数k仍然大于1,重复以上的过程，
6画谱系聚类图；
7觉定分类个数及各类的成员。
2.4■典型例子一一市场占有率问题
一个企业的销售量（或销售额）在市场同类产品中所占的比重。
直接反映企业所提供的商品和劳务对消费者和用户的满足程度，表明企业的商品在市场上所处的地位。
市场份额越高，表明企业经营、竞争能力越强。
市场份额根据不同市场范围有4种测算方法：
（1）.总体市场份额。
指一个企业的销售量（额）在整个行业中所占的比重。
（2）.目标市场份额。
指一个企业的销售量（额）在其目标市场，即它所服务
的市场中所占的比重。
一个企业的目标市场的范围小于或等于整个行业的服务市场，因而它的目标市场份额总是大于它在总体市场中的份额。
（3）.相对于3个最大竞争者的市场份额。
指一个企业的销售量和市场上最大
的3个竞争者的销售总量之比。
口：
一个企业的市场份额是30%，而它的3个
最大竞争者的市场份额分别为20%，10%，10%，则该企业的相对市场份额就是30%十40%=75%,如4个企业各占25%，则该企业的相对市场份额为33%。
一般地，一个企业拥有33%以上的相对市场份额，就表明它在这一市场中有一定实力。
4.相对于最大竞争者的市场份额。
指一个企业的销售量与市场上最大竞争者的销售量之比。
若高于100%，表明该企业是这一市场的领袖。
二、数据筛选
数据的筛选在数学建模中占有很重要的地位，它是数学建模的第一步，我们
只有得到好的数据才能保证得出的结果的真实性与准确性。
而在实际的问题中我们遇到的数据量往往是巨大的。
为了保证我们所用的方法能够在原始数据的支持下得以实现，我们必须要对数据进行筛选，使得解决方法简单化。
但是我们又要保证筛选出来的数据具有代表性，使得到的结果更加准确与真实。
数据筛选有很多种不同的方法
3.1：
随机抽样
从一个总体的样本X中随机抽取出n个个体，这样称对总体X进行随机抽样，其中n叫做样本容量，这n个个体构成了样本。
在随机抽样过程中满足随机性和独立性两个特征，即对于每一次的抽样在总体中的每一个个体被抽到的概率都相同，每次抽取的结果不会影响到下一次的抽取。
这样的随机抽样适用于对总体的概率分析等统计方面的应用，比如可以分析
数据中的最大值、均值、众数等数据特征不能够对数据的
3.2利用粗差法筛选数据
1基本假设
利用粗差法筛选数据的方法是一种基于数理统计理论得出的一种筛选数据的方法，其主要的运用体现在矿井通风阻力测定数据前处理的运用中，以及其他
相类似的数据处理。
以下我们就以矿井的通风阻力为例介绍粗差筛选数据的方法。
在进行通风阻力测量时，要求选择合理的测量路线，在每条测量路线上选择合理的测量点，每个测量点至少要求5个数据。
在测量期间，如果巷道通风状况等条件保持稳定，则某点的数据样本符合正态分布，且其平均值近似为真值。
某测点测量数据的样本x=（x1,x2,x3.....xn）,n>
5,的方差为
1n
S2十、（x-Xi）2
（1）
n-1ia
设允许的测量误差为a（0<
a<
1一般取0.05或0.1），那样本均值近似代替真值，则样本值的最大允许范围为：
__
（1-a）x乞％乞（1a）x,i=1,2,...n
（2）
样本x的最大可能方差为：
2一
s2—（x-（1_a）x）二皿（3）
n-dn-d
2分析方法
某点的测量数据不存在粗差，则在给定的测量误差范围内有：
22
S:
Smax
则认为存在粗差。
如果某此测量数据Xi粗差中偏移最大的值，则在公式（4）所表示的误差矩
n
阵中，当i=k时，送取最大值，也可以表示为公式（5），即取误差矩阵Axj4
的无穷范数时的测量误差Xj-k为偏差最大的数据，亦称最大粗差。
如果某次测量数据较多，在保证计算可靠性的基础上，为了减少计算量或统一规范，也可以采用该方法进行有效筛选。
经过逐次筛选，将测量数据按偏移量从小到大按顺序依次排序，直到S2:
：
S2max为止，这样就可以得到测量数据的正常取值范围。
同时，为了保证测量
的可靠性，一般要求具有代表性的数据至少有3个。
以上就是利用粗差来晒选数据的基本步骤，在筛选数据时的重要依据就是样本数据与无穷范数的差值，而无穷范数是通过误差矩阵经过公式（5）得到的。
通过这样的方法就可以将数据筛选。
3.3利用自组织方法进行数据筛选
自组织理论是基于神经网络和计算机科学的迅速发展而产生和发展起来的。
它将黑箱思想、生物神经元方法、归纳法、概率论、数理逻辑等方法有机地组合起来。
其主要思想是通过简单的初始输入（局部变量）的交叉组合产生第一代中间候选模型，再从第一代中间候选模型中选出最优的若干项组合而产生第二代中间候选模型，重复这样一个产生、选择和遗传进化过程，使模型复杂度不断增加，直到选出最优复杂度模型为止。
本文利用自组织方法进行数据筛选和建立税收预测模型，并在数据筛选基础上建立线性回归预测模型和BP神经网络预测模型，
然后结合时间序列的预测模型，利用自组织方法建立组合预测模型。
通过预测结果比较得出了组合预测模型比其它单个模型具有更高的预测精度。
其重要的应用
体现在对税收收入的的预测问题上。
税收收入预测可以使用统计技术，其使用的模型一般分为时间序列模型和回归模型。
时间序列模型的缺点在于不能充分利用与税收收入密切相关的经济因素，导致预测的数据不准确和不稳定。
回归模型虽然考虑了经济因素，但需要事先知道其它经济因素与税收收入间的函数关系，而且为了获得比较精确的预测结果，需要大量的计算。
许多实验表明BP神经网络用于税收等经济指标的预测也是一种适合的方法。
神经网络的优点在于它具有模拟多变量而不需要对输入变量做复杂的相关假定的能力，只要利用以往的历史数据，就可以从训练过程中通过学习来抽取和逼近隐含的输入/输出非线性关系。
但BP神经网络也有缺点，特别是在复杂系统建模时输入变量确定主观化等缺陷。
为结合回归模型、时间序列模型和神经网络模型的优点，有人利用自组织方法将多种模型的预测结果进行组合，实现自组织方法的组合预测模型。
所谓组合预测，就是将不同的预测方法进行适当的组合，综合利用各种方法所提供的有用信息，从而尽可能地提高预测精度。
为提高预测的精度，自组织理论在复杂系统的模拟、预测、模式识别、样本聚类等诸方面都有成功的应用
利用自组织方法对数据进行预处理
利用自组织方法，将税收收入作为因变量，其余变量作为自变量，通过自组织GMDH方法的实现工具KnowledgeMiner5.0建立模型得到税收与相关变量的模
型的方程为：
Y=-190.456894-0.033271X7+0105339X2+0.736523X9其中，决定系数R2=0.9934,预测误差平方和：
0.0079,平均绝对百分比误差：
4.53%,近似误差：
0.0066。
从模型的拟合效果看，除1985年左右的拟合税收数据与实际税收相差超过5%之外，其余年份的数据拟合误差大多小于5%,说明回归模型建立成功。
根据该方程可知，该组变量中最能反映税收变化的变量有财政支出总量、城乡储蓄存款年末余额、社会消费品零售总额。
自组织方法挖掘结果表明，由于相关性等原因，尽管税收收入与很多经济指标相关联，如与GDP之间就有非常密切的关系，但从拟合和预测的角度讲，并不是经济指标越多越好，也不一定是有密切关联的就一定选用，而应该选择最恰当的组合。
4.组合预测模型的建立
（1）利用以上变量建立四个单项模型。
1自组织方法建立模型Y1
Y1=-190.456894-0.033271X7+0.105339X2+0.736523X9
2多元线性回归模型丫2:
利用最小二乘法，根据实际税收观测值与回归估
计值的偏差平方和最小为原则，通过SPSS软件计算得多元线性回归方程：
Y2=-432.738+0.158X2-0.077X7+0.7652X9
通过拟合检验，除1985年左右的拟合税收数据与实际税收数据相差超过5%
以外，其余年份的数据拟合误差大多小于3%，说明时间序列模型建立成功。
3时间序列模型丫3:
时间序列模型基本思想是将预测对象随时间推移而形
成的数据序列视为一个随机序列，即除去个别的因偶然原因引起的观测值外，认
为时间序列是一组依赖于时间的随机变量。
这组随机变量所具有的依存关系或自
相关性表征了预测对象发展的延续性，而这种自相关性一旦被相应的数学模型描述出来就可以从时间序列的过去值及现在值来预测其未来值。
时间序列模型一般
有：
自回归（AR）模型、自回归滑动平均）模型等。
这里使用AR模型，时滞
因子为1，通过KnowledgeMiner建立时间序列模型：
Y3（t）=-58.077019+1.182588Y3（t-1），其中t=2,3,,21,Y3
（1）=629.89通过拟合检验除1985年左右的拟合税收数据与实际税收数据相差超过5%
之外，其余年份的数据拟合误差大多小于3%,说明时间序列模型建立成功。
（2）自组织方法组合预测模型。
组合预测理论“组合预测”思想是由J.M.Bates和C.W.JGranger1969年首次提出，其研究成果引起了预测学界的高度重视，其应用范围也逐渐扩大。
组合预测理论的基本原理是：
通过个体预测值的加权算术平均而得到其组合预测值，在确定加权权重（也称组合权重）时，以组
合预测误差方差最小为原则。
其本质就是将各种单项预测看作代表不同信息的片段，通过信息的集成分散单个预测特有的不确定性和减少总体的不确定性，从而
提高预测精度。
组合预测模型为：
Y=（fY1,Y2,Y3,Y4）,利用以上四种预测方法的数据拟合值和历年实际税收数据，使用KnowledgeMiner5.0进行挖掘的组合预测模型：
丫=47.07665+0.7708丫1-0.22236丫3+0.42303丫4
自组织方法挖掘的结果舍弃了按照观测值与回归估计值的偏差平方和最小为原则的线性回归方程而选用自组织方法建立的方程。
研究表明，通过自组织理
论数据挖掘得到的方程比按照观测值与回归估计值的偏差平方和最小为原则的线性回归方程在有噪声的情况下预测效果更佳。
通过实际比较也确实发现自组织
方法建立的方程拟合效果略差，而预测效果较好。
由于神经网络模型对数据的拟合非常精确，若只使用神经网络的训练数据通过自组织方法进行数据挖掘，很可能数据挖掘的结果会出现组合预测模型只与神经网络模型的结果相关而舍弃其它模型的预测结果，因此在使用自组织方法进行数据挖掘时不应全部使用神经网络拟合数据，而应适当使用预测数据。
5.预测结果从中国统计年鉴取得2002~2004年财政支出总量、城乡储蓄存款年末余额、社会消费品零售总额和税收收入数据，见表2。
分别通过以上建立的四个模型进行税收收入预测，并与实际税收收入进行比较，见表3。
其预测误差平方和（FSS巳的计算。
通过自组织建模方法可挖掘出税收与各经济指标间的内在联系。
线性回归模型、时间序列模型、神经网络模型都可较好地做相关预测工作；
组合预测方法可进一步提高预测效果。
由于税收收入很大程度上还受政策因素等影响（1985年前后税收数据），因此在进行数据选择和整理时还需尽量考虑这一因素。
参考文献：
[1].李明建，通风阻力测量数据粗差筛选方法的数学模型，煤炭科学研究总院，重庆
[2]:
冯杰、黄力伟、王勤、尹成义，《数学建模原理与案例》2006年148901号
升级会员 