对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义.docx

对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义.docx

《对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义.docx》由会员分享，可在线阅读，更多相关《对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义.docx（16页珍藏版）》请在冰点文库上搜索。

对线性回归逻辑回归各种回归的概念学习以及一些误差等具体含义

对线性回归、逻辑回归、各种回归的概念学习--以及一些误差等具体含义

对线性回归、逻辑回归、各种回归的概念学习回归问题的条件/前提:

1）收集的数据

2）假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。

然后利用这个模型去预测/分类新的数据。

1.线性回归

假设特征和结果都满足线性。

即不大于一次方。

这个是针对收集的数据而言。

收集的数据中，每一个分量，就可以看做一个特征数据。

每个特征至少对应一个未知的参数。

这样就形成了一个线性模型函数，向量表示形式:

这个就是一个组合问题，已知一些数据，如何求里面的未知参数，给出一个最优解。

一个线性矩阵方程，直接求解，很可能无法直接求解。

有唯一解的数据集，微乎其微。

基本上都是解不存在的超定方程组。

因此，需要退一步，将参数求解问题，转化为求最小误差问题，求出一个最接近的解，这就是一个松弛求解。

求一个最接近解，直观上，就能想到，误差最小的表达形式。

仍然是一个含未知参数的线性模型，一堆观测数据，其模型与数据的误差最小的形式，模型与数据差的平方和最小:

这就是损失函数的来源。

接下来，就是求解这个函数的方法，有最小二乘法，梯度下降法。

最小二乘法

是一个直接的数学求解公式，不过它要求X是列满秩的，

梯度下降法

分别有梯度下降法，批梯度下降法，增量梯度下降。

本质上，都是偏导数，步长/最佳学习率，更新，收敛的问题。

这个算法只是最优化原理中的一个普通的方法，可以结合最优化原理来学，就容易理解了。

2.逻辑回归

逻辑回归与线性回归的联系、异同,

逻辑回归的模型是一个非线性模型，sigmoid函数，又称逻辑回归函数。

但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。

可以说，逻辑回归，都是以线性回归为理论支持的。

只不过，线性模型，无法做到sigmoid的非线性形式，sigmoid可以轻松处理0/1分类问题。

另外它的推导含义:

仍然与线性回归的最大似然估计推导相同，最大似然函数连续积（这里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求导，得损失函数。

逻辑回归函数

表现了0,1分类的形式。

应用举例:

是否垃圾邮件分类,

是否肿瘤、癌症诊断,

是否金融欺诈,

3.一般线性回归

线性回归是以高斯分布为误差分析模型;逻辑回归采用的是伯努利分布分析误差。

而高斯分布、伯努利分布、贝塔分布、迪特里特分布，都属于指数分布。

而一般线性回归，在x条件下，y的概率分布p（y|x）就是指指数分布.

经历最大似然估计的推导，就能导出一般线性回归的误差分析模型（最小化误差模型）。

softmax回归就是一般线性回归的一个例子。

有监督学习回归，针对多类问题（逻辑回归，解决的是二类划分问题），如数字字符的分类问题，0-9,10个数字，y值有10个可能性。

而这种可能的分布，是一种指数分布。

而且所有可能的和为1，则对于一个输入的结果，其结果可表示为:

参数是一个k维的向量。

而代价函数:

是逻辑回归代价函数的推广。

而对于softmax的求解，没有闭式解法（高阶多项方程组求解），仍用梯度下降法，或L-BFGS求解。

当k=2时，softmax退化为逻辑回归，这也能反映softmax回归是逻辑回归的推广。

线性回归，逻辑回归，softmax回归三者联系，需要反复回味，想的多了，理解就能深入了。

4.拟合:

拟合模型/函数

由测量的数据，估计一个假定的模型/函数。

如何拟合，拟合的模型是否合适,可分为以下三类合适拟合

欠拟合

过拟合

看过一篇文章（附录）的图示，理解起来很不错:

欠拟合:

合适的拟合

过拟合

过拟合的问题如何解决,

问题起源,模型太复杂，参数过多，特征数目过多。

方法:

1）减少特征的数量，有人工选择，或者采用模型选择算法

（特征选择算法的综述）

2）正则化，即保留所有特征，但降低参数的值的影响。

正则化的优点是，特征很多时，每个特征都会有一个合适的影响因子。

5.概率解释:

线性回归中为什么选用平方和作为误差函数,假设模型结果与测量值误差满足，均值为0的高斯分布，即正态分布。

这个假设是靠谱的，符合一般客观统计规律。

数据x与y的条件概率:

若使模型与测量数据最接近，那么其概率积就最大。

概率积，就是概率密度函数的连续积，这样，就形成了一个最大似然函数估计。

对最大似然函数估计进行推导，就得出了求导后结果:

平方和最小公式

6.参数估计与数据的关系

拟合关系

7.错误函数/代价函数/损失函数:

线性回归中采用平方和的形式，一般都是由模型条件概率的最大似然函数概率积最大值，求导，推导出来的。

统计学中，损失函数一般有以下几种:

1）0-1损失函数

L（Y,f（X））={1,0,Y?

f（X）Y=f（X）

2）平方损失函数

L（Y,f（X））=（Y?

f（X））2

3）绝对损失函数

L（Y,f（X））=|Y?

f（X）|

4）对数损失函数

L（Y,P（Y|X））=?

logP（Y|X）

损失函数越小，模型就越好，而且损失函数尽量是一个凸函数，便于收敛计算。

线性回归，采用的是平方损失函数。

而逻辑回归采用的是对数损失函数。

这些仅仅是一些结果，没有推

导。

8.正则化:

为防止过度拟合的模型出现（过于复杂的模型），在损失函数里增加一个每个特征的惩罚因子。

这个就是正则

化。

如正则化的线性回归的损失函数:

lambda就是惩罚因子。

正则化是模型处理的典型方法。

也是结构风险最小的策略。

在经验风险（误差平方和）的基础上，增加一个惩

罚项/正则化项。

线性回归的解，也从

θ=（XTX）?

1XTy

转化为

括号内的矩阵，即使在样本数小于特征数的情况下，也是可逆的。

逻辑回归的正则化:

从贝叶斯估计来看，正则化项对应模型的先验概率，复杂模型有较大先验概率，简单模型具有较小先验概率。

这个里面又有几个概念。

什么是结构风险最小化,先验概率,模型简单与否与先验概率的关系,

经验风险、期望风险、经验损失、结构风险

期望风险（真实风险），可理解为模型函数固定时，数据平均的损失程度，或“平均”犯错误的程度。

期望风险是依赖损失函数和概率分布的。

只有样本，是无法计算期望风险的。

所以，采用经验风险，对期望风险进行估计，并设计学习算法，使其最小化。

即经验风险最小化（EmpiricalRiskMinimization）ERM，而经验风险是用损失函数来评估的、计算的。

对于分类问题，经验风险，就训练样本错误率。

对于函数逼近，拟合问题，经验风险，就平方训练误差。

对于概率密度估计问题，ERM，就是最大似然估计法。

而经验风险最小，并不一定就是期望风险最小，无理论依据。

只有样本无限大时，经验风险就逼近了期望风险。

如何解决这个问题,统计学习理论SLT，支持向量机SVM就是专门解决这个问题的。

有限样本条件下，学习出一个较好的模型。

由于有限样本下，经验风险Remp[f]无法近似期望风险R[f]。

因此，统计学习理论给出了二者之间的关系:

R[f]<=（Remp[f]+e）

而右端的表达形式就是结构风险，是期望风险的上界。

而e=g（h/n）是置信区间，是VC维h的增函数，也是样本数n的减函数。

VC维的定义在SVM，SLT中有详细介绍。

e依赖h和n，若使期望风险最小，只需关心其上界最小，即e最小化。

所以，需要选择合适的h和n。

这就是结构风险最小化StructureRiskMinimization，SRM.SVM就是SRM的近似实现，SVM中的概念另有一大筐。

就此打住。

1范数，2范数的物理意义:

范数，能将一个事物，映射到非负实数，且满足非负性，齐次性，三角不等式。

是一个具有“长度”概念的函数。

1范数为什么能得到稀疏解,

压缩感知理论，求解与重构，求解一个L1范数正则化的最小二乘问题。

其解正是欠定线性系统的解。

2范数为什么能得到最大间隔解,

2范数代表能量的度量单位，用来重构误差。

以上几个概念理解需要补充。

9.最小描述长度准则:

即一组实例数据，存储时，利用一模型，编码压缩。

模型长度，加上压缩后长度，即为该数据的总的描述长度。

最小描述长度准则，就是选择总的描述长度最小的模型。

最小描述长度MDL准则，一个重要特性就是避免过度拟合现象。

如利用贝叶斯网络，压缩数据，一方面，模型自身描述长度随模型复杂度的增加而增加;另一方面，对数据集描述的长度随模型复杂度的增加而下降。

因此，贝叶斯网络的MDL总是力求在模型精度和模型复杂度之间找到平衡。

当模型过于复杂时，最小描述长度准则就会其作用，限制复杂程度。

奥卡姆剃刀原则:

如果你有两个原理，它们都能解释观测到的事实，那么你应该使用简单的那个，直到发现更多的证据。

万事万物应该尽量简单，而不是更简单。

11.凸松弛技术:

将组合优化问题，转化为易于求解极值点的凸优化技术。

凸函数/代价函数的推导，最大似然估计法。

12.牛顿法求解最大似然估计

前提条件:

求导迭代，似然函数可导，且二阶可导。

迭代公式:

若是向量形式，

H就是n*n的hessian矩阵了。

特征:

当靠近极值点时，牛顿法能快速收敛，而在远离极值点的地方，牛顿法可能不收敛。

这个的推导,

这点是与梯度下降法的收敛特征是相反的。

线性与非线性:

线性，一次函数;非线性，输入、输出不成正比，非一次函数。

线性的局限性:

xor问题。

线性不可分，形式:

x0

0x

而线性可分，是只用一个线性函数，将数据分类。

线性函数，直线。

线性无关:

各个独立的特征，独立的分量，无法由其他分量或特征线性表示。

核函数的物理意义:

映射到高维，使其变得线性可分。

什么是高维,如一个一维数据特征x，转换为（x，x^2,x^3），就成为了一个三维特征，且线性无关。

一个一维特征线性不可分的特征，在高维，就可能线性可分了。

逻辑回归logicalisticregression本质上仍为线性回归，为什么被单独列为一类,

其存在一个非线性的映射关系，处理的一般是二元结构的0，1问题，是线性回归的扩展，应用广泛，被单独列为一类。

而且如果直接应用线性回归来拟合逻辑回归数据，就会形成很多局部最小值。

是一个非凸集，而线性回归损失函数是一个凸函数，即最小极值点，即是全局极小点。

模型不符。

若采用逻辑回归的损失函数，损失函数就能形成一个凸函数。

多项式样条函数拟合

多项式拟合，模型是一个多项式形式;样条函数，模型不仅连续，而且在边界处，高阶导数也是连续的。

好处:

是一条光滑的曲线，能避免边界出现震荡的形式出现（龙格线性）

以下是几个需慢慢深入理解的概念:

无结构化预测模型

结构化预测模型

什么是结构化问题,

adaboost，svm，lr三个算法的关系。

三种算法的分布对应exponentialloss（指数损失函数），hingeloss，logloss（对数损失函数），无本质区别。

应用凸上界取代0、1损失，即凸松弛技术。

从组合优化到凸集优化问题。

凸函数，比较容易计算极值点。

正则化与贝叶斯参数估计的联系,

部分参考文章:

B0-

%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%

AD%A6%E4%B9%A0%E7%AC%AC%E4%B8%83%E8%AF%BE-%E6%AD%A3%E5%88%99%E5%8C%96-regularization

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•

•【唯美句子】走累的时候，我就到升国旗哪里的一角台阶坐下，双手抚膝，再闭眼，让心灵受到阳光的洗涤。

懒洋洋的幸福。

顶3收藏2

•【唯美句子】一个人踮着脚尖，在窄窄的跑道白线上走，走到很远的地方又走回来。

阳光很好，温暖，柔和。

漫天的安静。

顶7收藏7

•【唯美句子】清风飘然，秋水缓淌。

一丝云起，一片叶落，剔透生命的空灵。

轻轻用手触摸，就点碎了河面的脸。

落叶舞步婀娜不肯去，是眷恋，是装点,瞬间回眸，点亮了生命精彩。

顶11收藏9

•【唯美句子】几只从南方归来的燕子，轻盈的飞来飞去，“几处早莺争暖树，谁家新燕啄春泥，”其乐融融的山林气息，与世无争的世外桃源，让人心旷神怡。

顶0收藏2

•【唯美句子】流年清浅，岁月轮转，或许是冬天太过漫长，当一夜春风吹开万里柳时，心情也似乎开朗了许多，在一个风轻云淡的早晨，踏着初春的阳光，漫步在碧柳垂青的小河边，看小河的流水因为解开了冰冻而欢快的流淌，清澈见底的的河水，可以数得清河底的鹅软石，偶尔掠过水面的水鸟，让小河荡起一层层的涟漪。

河岸换上绿色的新装，刚刚睡醒的各种各样的花花草草，悄悄的露出了嫩芽，这儿一丛，那儿一簇，好像是交头接耳的

议论着些什么，又好象是在偷偷地说着悄悄话。

顶3收藏4

•【唯美句子】喜欢海子写的面朝大海春暖花开，不仅仅是因为我喜欢看海，还喜欢诗人笔下的意境，每当夜深人静时，放一曲纯音乐，品一盏茶，在脑海中搜寻诗中的恬淡闲适。

在春暖花开时，身着一身素衣，站在清风拂柳，蝶舞翩跹的百花丛中，轻吹一叶竖笛，放眼碧波万里，海鸥，沙滩，还有扬帆在落日下的古船，在心旷神怡中，做一帘红尘的幽梦。

顶0收藏2

•【唯美句子】繁华如三千东流水，你只在乎闲云野鹤般的采菊东篱、身心自由，置身置灵魂于旷野，高声吟唱着属于自己的歌，悠悠然永远地成为一个真真正正的淡泊名利、鄙弃功名利禄的隐者。

顶1收藏3

•【唯美句子】世俗名利和青山绿水之间，你选择了淡泊明志，持竿垂钓碧泉绿潭;权力富贵和草舍茅庐之间，你选择了宁静致远，晓梦翩跹姹紫嫣红。

顶2收藏3

•【唯美句子】那是一株清香的无名花，我看到了它在春风夏雨中风姿绰约的模样，可突如其来的秋雨，无情的打落了它美丽的花瓣，看着它在空谷中独自凋零，我莫名其妙的心痛，像针椎一样的痛。

秋雨，你为何如此残忍，为何不懂得怜香惜玉，我伸出颤抖的双手，将散落在泥土里的花瓣捧在手心。

顶4收藏5

•【唯美句子】滴答滴答，疏疏落落的秋雨，赶着时间的脚步，哗啦啦的下起来。

听着雨水轻轻地敲击着微薄的玻璃窗，不知不觉，我像是被催眠了一样，渐渐的进入了梦乡。

顶3收藏5

•【唯美句子】在这极致的悲伤里，我看到了世间最美的爱，可谁又能明白，此刻的我是悲伤还是欢喜，也许只有那拨动我心弦的秋季，才知道潜藏在我心中的眼泪。

顶4收藏3

•【唯美句子】看着此情此景，我细细地聆听。

像是听到了落叶的呢喃，秋风的柔软，在这极短的瞬间，他们一起诉说着最美的爱恋，演绎着永恒的痴缠。

当落叶安详的躺在大地，露出幸福的模样，你看，它多像一个进入梦乡的孩子。

突然发现，秋风并非是想象中的刽子手，原来它只是在叶子生命的最后一刻，让它体会到爱的缠绵，飞翔的滋味。

顶1收藏1

•【唯美句子】很感谢那些耐心回答我的人，公交上那个姐姐，还有那位大叔，我不知道他们是不是本地人，但我们遇到的一个交警协管，一位头发花白的大姐，她是上海本地人，很和善，并不像有些人说的上海人很排外。

事实上，什么都不是绝对的。

顶2收藏0

•【唯美句子】我嗅到浓郁的香奈尔，却也被那种陌生呛了一鼻。

也许，我却不知道，那时的感受了。

那里没有那么美好，没有安全感，归属感。

我想要的自由呢，不完全地体验到了。

顶2收藏1

•【唯美句子】那些繁华的都市，车水马龙，灯红酒绿，流光溢彩，却充斥着一种悲哀，浮夸。

我看到各种奢华，却也看到各种卑微，我看到友善亲和，也看到暴躁粗鲁，我看到金光熠

•【优美语句】踏过一片海，用博识的学问激起片片微澜;采过一丛花，正在聪慧的碰碰外送来缕缕清喷鼻;无过一个梦，决定从那里启程。

顶0收藏0

•【优美语句】人生如一本书，应该多一些精彩的细节，少一些乏味的字眼;人生如

一支歌，应该多一些昂扬的旋律，少一些忧伤的音符;人生如一幅画，应该多一些亮丽的色彩，少一些灰暗的色调。

顶0收藏0

•【优美语句】母爱是一滴甘露，亲吻干涸的泥土，它用细雨的温情，用钻石的坚毅，期待着闪着碎光的泥土的肥沃;母爱不是人生中的一个凝固点，而是一条流动的河，这条河造就了我们生命中美丽的情感之景。

顶0收藏0

•【优美语句】生活如海，宽容作舟，泛舟于海，方知海之宽阔;生活如山，宽容为径，循径登山，方知山之高大;生活如歌，宽容是曲，和曲而歌，方知歌之动听。

顶0收藏0

•【优美语句】母爱就是一幅山水画，洗去铅华雕饰，留下清新自然;母爱就象一首深情的歌，婉转悠扬，轻吟浅唱;母爱就是一阵和煦的风，吹去朔雪纷飞，带来春光无限。

顶0收藏0

•【优美语句】努力奋斗，天空依旧美丽，梦想仍然纯真，放飞自我，勇敢地飞翔于梦想的天空，相信自己一定做得更好。

顶0收藏0

•【优美语句】品味生活，完善人性。

存在就是机会，思考才能提高。

人需要不断打碎自己，更应该重新组装自己。

顶0收藏0

•【优美语句】母爱是一缕阳光，让你的心灵即使在寒冷的冬天也能感到温暖如春;母爱是一泓清泉，让你的情感即使蒙上岁月的风尘依然纯洁明净。

顶0收藏0

•【优美语句】母爱是温暖心灵的太阳;母爱是滋润心灵的雨露;母爱是灌溉心灵的沃土;母爱是美化心灵的彩虹。

顶0收藏0

•【优美语句】一轮金色的光圈印在海面，夕阳将最后的辉煌撒向了大海，海平面波光潋滟，金光闪闪，夕阳下的海水让最后一丝蓝也带着感动。

温和的海水轻轻地拍打着我的脚踝，我张开双臂拥抱最温馨的时刻„„我爱大海宽广的胸怀，无论多大的风浪，她都可以揽入怀中;无论多少风雨，都无法将她击垮;无论多少河流，她都可以容纳;我愿做一只填海的燕，填平她的波涛翻滚，填平她的汹涌愤怒，只留下平静、柔和的海面。