统计学习方法PDFWord格式文档下载.doc

1、1.3.2资料不符合正态分布，或各组方差不齐，则采用非参数检验的kruscalwallis法。如果检验结果为有统计学意义，则进一步作两两比较，一般采用bonferroni法校正p值，然后用成组的wilcoxon检验。1.4 多组随机区组样本比较1.4.1资料符合正态分布，且各组方差齐性，直接采用随机区组的方差分析。1.4.2资料不符合正态分布，或各组方差不齐，则采用非参数检验的fridman检验法。如果检验结果为有统计学意义，则进一步作两两比较，一般采用bonferroni法校正p值，然后用符号配对的wilcoxon检验。*需要注意的问题：（1） 一般来说，如果是大样本，比如各组例数大于50，

2、可以不作正态性检验，直接采用t检验或方差分析。因为统计学上有中心极限定理，假定大样本是服从正态分布的。（2） 当进行多组比较时，最容易犯的错误是仅比较其中的两组，而不顾其他组，这样作容易增大犯假阳性错误的概率。正确的做法应该是，先作总的各组间的比较，如果总的来说差别有统计学意义，然后才能作其中任意两组的比较，这些两两比较有特定的统计方法，如上面提到的lsd检验，bonferroni法，tukey法，scheffe法，snk法等。*绝不能对其中的两组直接采用t检验，这样即使得出结果也未必正确*（3） 关于常用的设计方法：多组资料尽管最终分析都是采用方差分析，但不同设计会有差别。常用的设计如完全随

3、即设计，随机区组设计，析因设计，裂区设计，嵌套设计等。2分类资料2.1 四格表资料2.1.1 例数大于40，且所有理论数大于5，则用普通的pearson 检验。2.1.2 例数大于40，所有理论数大于1，且至少一个理论数小于5，则用校正的 检验或fishers确切概率法检验。2.1.3 例数小于40，或有理论数小于2，则用fishers确切概率法检验。2.2 2c表或r2表资料的统计分析2.2.1 列变量行变量均为无序分类变量，则（1）例数大于40，且理论数小于5的格子数目<总格子数目的25，则用普通的pearson 检验。（2）例数小于40，或理论数小于5的格子数目&总格子数目的25，

4、则用fishers确切概率法检验。2.2.2列变量为效应指标，且为有序多分类变量，行变量为分组变量，用普通的pearson 检验只说明组间构成比不同，如要说明疗效，则可用行平均分差检验或成组的wilcoxon秩和检验。2.2.3 列变量为效应指标，且为二分类变量，行变量为有序多分类变量，则可采用普通的pearson 检验比较各组之间有无差别，如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。2.3 rc表资料的统计分析（3）如果要作相关性分析，可采用pearson相关系数。2.2.2列变量为效应指标，且为有序多分类变量，行变量为分组变量，用普通的pearso

5、n 检验只说明组间构成比不同，如要说明疗效或强弱程度的不同，则可用行平均分差检验或成组的wilcoxon秩和检验或ridit分析。2.2.3 列变量为效应指标，且为无序多分类变量，行变量为有序多分类变量，则可采用普通的pearson 检验比较各组之间有无差别，如果有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。2.2.4 列变量行变量均为有序多分类变量，（1）如要做组间差别分析，则可用行平均分差检验或成组的wilcoxon秩和检验或ridit分析。如果总的来说有差别，还可进一步作两两比较，以说明是否任意两组之间的差别都有统计学意义。（2）如果要做两变量之间的相关性，可

6、采用spearson相关分析。2.4 配对分类资料的统计分析2.4.1 四格表配对资料，（1）bc&40，则用mcnemar配对 检验。（2）bc&40，则用校正的配对 检验。2.4.1 cc资料，（1）配对比较：用mcnemar配对 检验。（2）一致性检验，用kappa检验。在spss软件相关分析中,pearson（皮尔逊）, kendall（肯德尔） 和spearman（斯伯曼/斯皮尔曼）三种相关分析方法有什么异同两个连续变量间呈线性相关时，使用pearson积差相关系数，不满足积差相关分析的适用条件时，使用spearman秩相关系数来描述.spearman相关系数又称秩相关系数，是利用两

7、变量的秩次大小作线性相关分析，对原始变量的分布不作要求，属于非参数统计方法，适用范围要广些。对于服从pearson相关系数的数据亦可计算spearman相关系数，但统计效能要低一些。pearson相关系数的计算公式可以完全套用spearman相关系数计算公式，但公式中的x和y用相应的秩次代替即可。kendalls tau-b等级相关系数：用于反映分类变量相关性的指标，适用于两个分类变量均为有序分类的情况。对相关的有序变量进行非参数相关检验； 取值范围在-1-1之间，此检验适合于正方形表格；计算积距pearson相关系数，连续性变量才可采用;计算spearman秩相关系数，适合于定序变量或不满足

8、正态分布假设的等间隔数据; 计算kendall秩相关系数，适合于定序变量或不满足正态分布假设的等间隔数据。计算相关系数：当资料不服从双变量正态分布或总体分布未知，或原始数据用等级表示时，宜用 spearman或kendall相关pearson 相关复选项 积差相关 计算连续变量或是等间距测度的变量间的相关分析 kendall 复选项 等级相关 计算分类变量间的秩相关，适用于合并等级资料spearman 复选项 等级相关 计算斯皮尔曼相关，适用于连续等级资料注：1若非等间距测度的连续变量 因为分布不明-可用等级相关/也可用pearson 相关，对于完全等级离散变量必用等级相关2当资料不服从双变量

9、正态分布或总体分布型未知或原始数据是用等级表示时,宜用 spearman 或 kendall相关。3 若不恰当用了kendall 等级相关分析则可能得出相关系数偏小的结论。则若不恰当使用，可能得相关系数偏小或偏大结论而考察不到不同变量间存在的密切关系。对一般情况默认数据服从正态分布的，故用pearson分析方法。在spss里进入correlatebivariate，在变量下面correlation coefficients复选框组里有3个选项：pearsonkendalls tau-bspearman：spearmanspearman（斯伯曼/斯皮尔曼）相关系数斯皮尔曼等级相关是根据等级资料研

10、究两个变量间相关关系的方法。它是依据两列成对等级的各对等级数之差来进行计算的，所以又称为“等级差数法”斯皮尔曼等级相关对数据条件的要求没有积差相关系数严格，只要两个变量的观测值是成对的等级评定资料，或者是由连续变量观测资料转化得到的等级资料，不论两个变量的总体分布形态、样本容量的大小如何，都可以用斯皮尔曼等级相关来进行研究kendalls相关系数肯德尔（kendall）w系数又称和谐系数，是表示多列等级变量相关程度的一种方法。适用这种方法的数据资料一般是采用等级评定的方法收集的，即让k个评委（被试）评定n件事物，或1个评委（被试）先后k次评定n件事物。等级评定法每个评价者对n件事物排出一个等级

11、顺序，最小的等级序数为1 ，最大的为n，若并列等级时，则平分共同应该占据的等级，如，平时所说的两个并列第一名，他们应该占据1，2名，所以它们的等级应是1.5,又如一个第一名，两个并列第二名，三个并列第三名，则它们对应的等级应该是1,2.5,2.5,5,5,5,这里2.5是2,3的平均，5是4,5,6的平均。肯德尔（kendall）u系数又称一致性系数，是表示多列等级变量相关程度的一种方法。该方法同样适用于让k个评委（被试）评定n件事物，或1个评委（被试）先后k次评定n件事物所得的数据资料，只不过评定时采用对偶评定的方法，即每一次评定都要将n个事物两两比较，评定结果如下表所示，表格中空白位（阴影

12、部分可以不管）填入的数据为：若i比j好记1，若i比j差记0，两者相同则记0.5。一共将得到k张这样的表格，将这k张表格重叠起来，对应位置的数据累加起来作为最后进行计算的数据，这些数据记为ij。 正态分布的相关检验对来自正态总体的两个样本进行均值比较常使用t检验的方法。t检验要求两个被比较的样本来自正态总体。两个样本方差相等与不等时用的计算t值的公式不同。进行方差齐次性检验使用f检验。对应的零假设是：两组样本方差相等。p值小于0.05说明在该水平上否定原假设，方差不齐；否则两组方差无显著性差异。u检验时用服从正态分布的检验量去检验总体均值差异情况的方法。在这种情况下总体方差通常是已知的。虽然t检

13、验法与u检验法所解决的问题大体相同，但在小样本（样本数n）=30作为大样本）且均方差未知的情况下就不能用u检验法了。均值检验时不同的数据使用不同的统计量使用means过程求若干组的描述统计量，目的在于比较。因此必须分组求均值。这是与descriptives过程不同之处。检验单个变量的均值是否与给定的常数之间存在差异，用one-sample t test 单样本t检验过程。检验两个不相关的样本是否来自来具有相同均值的总体，用independent-samples t test 独立样本t检验过程。如果分组样本不独立，用paired sample t test 配对t检验。如果分组不止两个，应使用

14、one-way anovo一元方差分析（用于检验几个独立的组，是否来自均值相等的总体）过程进行单变量方差分析。如果试图比较的变量明显不服从正态分布，则应该考虑使用一种非参数检验过程nonparametric test.如果用户相比较的变量是分类变量，应该使用crosstabs功能。当样本值不能为负值时用右侧单边检验医学科研中如何用好应用统计学的方法 统计学是一门透过同质事物的变异性、揭示内在事物规律性和实质性的科学，确切地讲，是一门关于客观数据分析的科学，研究数据的收集、整理和分析，包括理论和应用两个方面。医学应用统计学，侧重于实际应用，是在传承和借鉴传统医学统计学“理论原理公式应用”模式基础

15、上，创造性地以“目的数据库一变量类型一变量间关系”模式为指导的统计学。 它遵循简单实用的原则，力避复杂的数学原理和公式推导，以解决实际问题为导向，以建立统计数据库、分清变量类型为基础，以分析变量与变量间关系为核心阐述统计学分析方法，对于广大医学科研工作者，具有内容简单、思维明确、操作可行、方法实用的特点。因此，学好用好医学应用统计学需要掌握如下一些基本方法。一、明确研究目的和研究设计研究目的是研究设计的目标和方向，科学研究的基本要素及其基本原则是科研设计的基础和指南。完整的科研设计包括专业设计和统计设计两部分：专业设计是指课题的实际意义和研究价值，入选对象的诊断标准、纳入标准及排除标准等，决定

16、研究课题的先进性和实用性；统计设计包括选择研究类型与设计方案，确定研究总体、样本量、观察指标、随机化分组或抽样方法，以及数据的质量控制和统计分析方法等，影响课题的可信度和科学价值。因此，正确的统计学分析一定要建立在明确的研究目的和研究设计的基础之上，那些事先没有研究目的和研究设计，事后找来一堆数据进行统计分析都是不可取的。在医学论文的撰、编、审、读过程中经常遇到的问题是研究的题目与课题设计、论文内容不符，包括文章的方法解决不了论文的目的、文章的结果说明不了论文的题目、文章的讨论偏离了论文的主题；还有是目的不明确、设计不合理。如题目过小，论文不够字数，而一些无关紧要的变量指标或结果被分析被讨论；

17、又如题目过大，论文的全部内容不足以说明研究的目的，使论文的论点难以立足。所以，合理明确的论文题目或目的以及研究设计方案是撰、编、审、读者应当关注的首要问题。此外，样本含量是否满足，抽样是否随机，偏倚是否控制等，也是不可忽视的问题。篇三：统计学学习笔记统计学 学习笔记 （一） 学统计学需要理由吗？ 我承认，我学统计学是出于很实际的目的的。其实在本科的时候已经学习了概率论与统计学，可惜以应试为目标的学习成果，最后统统都还给老师了。这次正儿八经地从头开始学习，鞭策我的根本动力就是要在项目中运用到。本系列说白了就是一统计学学习笔记，主要的学习书目为：爱上统计学，漫画统计学，医用统计方法。其他的等用到了

18、再补充。预期的学习方向：医学统计学。总目标：记录医学相关的统计学知识要点以及学习心得。尽量做到有理有据，有图有真相。“真相”主要是以数据集stroke_clean.sav（脑中风数据）为例，图来自spss的操作截图。 统计学：一门关于数据的学科统计学 ：描述一系列可用于描述、整理和解释资料或数据的统计工具和技术。爱上统计学，p6可以看出，数据是统计学的根本。要是没有数据，或者没有针对数据的需求，那么统计学也就不需要了。但不是所有的数据都可以作为统计学方法的输入的。确认数据种类数据有无数多。各种各样的，千奇百怪的。那么统计学对什么样的数据感兴趣呢？总不能所有都要涉及吧？主要是以下几类数据spss

19、，漫画统计学，医用统计方法（图1）：1. 数值型（度量型，scale）：数据是连续的；数据之间间隔相等，可测量；可区分大小。如年龄age。也称为连续型、数值数据、定量数据。2. 序列型（序号型，ordinal）：数据不是连续的；数据之间不可测量；但可区分大小。如治疗结果result。3. 字符型（名义型，nominal）：不可区分大小。如消凝药物clotsolv。4. 布尔型（boolean）：数据只有两个取值；如性别gender。1后面三种可以被称为分类数据。图1：数据类型示例统计学 学习笔记 （二） 掌握数据的整体状态 数据的集中趋势 掌握数据的整体状态如果只是看到一堆数据，杂乱无章地排在

20、一起，人很难看出它们到底反应了什么信息。而各种数据分析技术的发展，却要求我们在分析之前就能对数据从整体上尽可能把握特性，从而为后面的分析方法的选择及分析结果的理解提供可靠的依据。统计学中对于一组数据的整体状态，提供了多方位多角度的衡量指标。从数值的角度，可以从两个方面进行描述：数据的集中趋势（central tendency），数据的变异性（variability）。 2从图示的角度，可以通过数据组的频数分布（frequency distribution）及直方图来形象地描绘数据组内数值的分布状态。数据的集中趋势数据的集中趋势很好理解，通俗地说，就是看看这组数据大概讲什么的。比如对于图2中的a

21、ge数据，一眼看去，都在50以上，大概能够猜到这组数据主要讲的是老年人。但具体如何，在数据量大的情况下，就需要有一些确切的指标来表明其整体状态。这些指标最常见的就是均值（算术均值）、中值和众数；另外在医学统计学中，也经常会用到几何均值。图2：年龄数据示例均值 （算术均值，mean，arithmetic mean）：数据组中所有数值的总和除以该组数值的个数。指的就是数值的中间点。3 将数据组中每个数值减去均值后的结果相加，和等于0。可以把某个数值减去均值的结果看作是这个数值到均值的距离。 均值是最能反映数据的集中趋势的单一指标，如果考虑到均值可以使每个数值减去均值后的平方和最小这个情况。 对于正

22、态分布来说，其均值与中值和众数相等。 均值对极值很敏感。当极值比较大的时候，会使得均值对数据组集中趋势量数的代表性减弱。图3：中值示意众数 （mode）：出现次数最多的数值。见图4mode,4图4：众数示意几何均值 （几何均数，geometric mean）：将所有数值相乘后取数值数目的开方。这个计算方法当数值数目&3后会很难计算，因此将它转换为对数形式，也就是先将所有数值进行（自然）对数转换，然后计算这些转换后的对数值的算术均值，然后再取反对数。从这个计算方法可以看出，几何均值和均值最大的不同就是对数值取了对数。增加了计算量，又有什么好处呢？前面我们说到，均值对极值很敏感。但取对数却可以很好

23、地平衡这种极值，因此几何均值就会对一些有极值的、偏态的数据组能很好地反映其集中趋势。比如在衡量某种传染病的潜伏期或血中某种抗体的滴度时就常用几何均值表示它们的平均水平医用统计方法，3.1。指标很多，各有各的用处。下面就总结一下它们各自擅长的地方： 如果数据是序列型、字符型或布尔型，无法计算其均值和中值，则使用众数作为集中趋势的量数。 如果数据是数值型且没有极值，则可以使用均值反映集中趋势。 如果数据是数值型，但包含极值，或分布比较偏态，则可以使用中值或几何均值。 文章how to analyze data using the average,5. 篇四：统计学习精要统计学习精要（the ele

24、ments of statistical learning）课堂笔记系列课程教材：the elements of statistical授课人：复旦大学计算机学院 吴立德教授 ?统计学习精要（the elements of statistical learning）?课堂笔记（一）从这周开始，如无意外我会每周更新课堂笔记。另一方面，也会加上自己的一些理解和实际工作中的感悟。此外，对于data mining感兴趣的，也可以去coursera听课貌似这学期开的machine learning评价不错。我只在coursera上从众选了一门 model thinking，相对来说比较简单，但是相当的优

25、雅！若有时间会再写写这门课的上课感受。笔记我会尽量用全部中文，但只是尽量.-课堂笔记开始-第一次上课，主要是导论，介绍这个领域的关注兴趣以及后续课程安排。对应本书的第一章。6. 统计学习分类？一般说来，我们有个观测到的结果y，然后找到一个适合的模型根据x预测y，这样的称之为有监督的学习（supervised learning）。而有些时候，y是无法观测到的，那么只是通过x来学习，称之为无监督的学习（unsupervised learning）。这本书主要侧重有监督的学习。7. 回归和分类器。这个主要和y有关。如果y为离散，比如红黄蓝不同颜色，则称之为分类器（学习模型）；反之，若y为连续，比如身

26、高，则称之为回归（学习模型）。这里更多只是称谓上的区别。8. 统计学习的任务？预测。通过什么来预测？学习模型（learning models）。按照什么来学习？需要一定的准则，比如最小均方误差mse，适用于分类器的0-1准则等。基于这些准则、优化过的实现方法称之为算法。9. 统计学习举例？分类器：依据邮件发信人、内容、标题等判断是否为垃圾邮件；回归：前列腺特异抗原（psa）水平与癌症等因素的关系；图形识别：手写字母的识别；聚类：根据dna序列判断样本的相似性，如亲子鉴定。10. 课程安排顺序？第二章，是对于有监督的学习模型的概览。第三章和第四章将讨论线性回归模型和线性分类器。第五章将讨论广义线

27、性模型（glm）。第六章涉及kernel方法和局部回归。第七章是模型评价与选择。第八章是测侧重算法，比如最大似然估计，bootstrap等。本学期预计讲到这里。所以后面的我就暂时不列出了。目测第二节开始将变得越来越难，前阵子自学第二章痛苦不已啊.一个lasso就折磨了我好久。当时的读书笔记见：降维模型若干感悟-10.15补充-上周写的时候只是凭着记忆，笔记没在身边。今天重新翻了翻当时记下的课堂笔记，再补充一些吧。第九章是可加模型，即 f（x1,.,xp）=f（x1）+.+f（xp）第十章是boosting模型第十一章讨论神经网络第十二章讨论支持向量机 （support vector machi

28、ne）第十三章设计原型方法（prototype）第十四章从有监督的学习转到无监督的学习（即有x有y-&有x无y）第十五章讨论随机森林模型（random forest）第十六章是集群学习第十七章结构图模型统计学习精要（the elements of statisticallearning）?课堂笔记（二）继续一周一次的课堂笔记 :d 昨天去晚了站着听讲，感觉好好啊，注意各种集中。想想整个教室里面就是我和老师是站着的，自豪感油然而生。第二次课讲的东西依旧比较简单，是这本书第二章的前半部分。作为一个好久之前已经预习过的孩子，我表示万分的得意（最小二乘法难道不是三四年前就学过的？话说以后我再面人的时候，就让他推导最小二乘估计量，嘻嘻.考验一下基本功）。-原谅我的废话，笔记开始-简单预测方法：最小二乘法（以下沿用计量经济学的习惯，简称ols） ols实在是太普遍了，我就不赘述细节了。ols的思想就是，基于已有的样本信息，找出一条直线，让预测值与真实值之间的残差平方和最小，即 n（y?y）2 最小。其中， y 为真实的样本观测值（已有样本），而 y 是ols的预测值。用图来讲的话，x为一维向量