神经网络.docx
《神经网络.docx》由会员分享，可在线阅读，更多相关《神经网络.docx（14页珍藏版）》请在冰点文库上搜索。
神经网络
题
目
BP神经网络的现状及应用综述
作者：
潘高超
学号：
15120017
指导教师：
吴建国
完成日期：
2016年5月1日
摘要
BP神经网络作为人工神经网络的重要分支，是促进该学科发展的重要力量，体现出这门科学的理论精华。
BP神经网络具有完善的理论体系，清晰的算法流程，强大的数据识别和模拟功能。
在解决非线性系统问题时，优势明显，突显出巨大的实际应用价值。
在当今社会，BP神经网络是现实应用中展为广泛的，它具有神经网络的基本特征，所以本文以BP神经网络作为研究对象。
研究的内容主要有：
首先，对生物神经元与人工神经元之间的关系和BP神经网络的基本原理及推导过释进行阐述。
其次，对BP神经网络的参数选择和流程步骤进行了研究。
关键词：
神经网络，非线性系统，数据识别
第一章目的和意义
人工神经网络（ArtificialNeuralNetwork，ANN）是由大量计算单元构成的非线性系统，它模仿人脑神经系统对外界信号接收、处理、存储的过程。
具有强大的智能处理信息的功能。
19世纪40年代初，心理学家Mcculloch和数学家Pitts从信息处理和数学建模的角度出发，对信号在神经元间的传递进行研究，提出神经元形式的MP数学模型，发出利用神经科学作为逻辑数学工具研究客观世界的先声。
随后国外许多学者参与神经网络的研究工作，提出大量新理论和学习算法，如无导师学习、感知器模型、反向传播算法、最小均方规则、玻耳兹曼机、模拟退火算法、竞争学习以及运动控制等学习模型。
这些学习模型改进了神经网络的学习结构，完善了原有的理论，增强其处理各类信息的能力，体现了神经网络的一些显著特点及优势：
具有非线性映射能力，擅于从输入和输出信号中寻找规律，不需要精确的数学模型，并行计算能力强，易于进行软硬件的编程计算。
因此，神经网络作为模仿生物的新型数学模型，被尝试性地运用去解决一些传统方法不能解决的问题。
1985年Rumelhart在误差反向传播理论的基础上提出反向传播（Back-Propagation）学习算法，即BP神经网络算法。
BP神经网络构建在多层前馈网络的基础上，由输入、输出、隐含层组成。
输入信号在各层神经元问传递，通过各神经元激活函数的作用，完成正向传播。
根据正向传播的误差信号，BP神经网络利用梯度下降法进行有导师式反向传播学习，通过反复的正向、反向学习，使误差信号达到最小。
1988年Cybenko指出，当各节点均采用Sigmoid型函数时，一个隐含层就足以实现任意的判决分类问题，两个隐含层则足以表示输入图形的任意输出函数。
这反映出BP神经网络具有强大的数据识别和模拟能力，在解决非线性系统问题时，优势明显，是一种可以被推广应用的前沿理论与技术。
近年来国内外学者对ANN模型的研究大多聚焦在前馈反向传播网络上，BP神经网络是前馈反向传播网络精华的部分，应用程度最广，因而得到学者们的格外关注。
目前BP神经网络的应用领域主要有：
模式识别、智能控制、故障诊断、图像识别处理、优化计算、信息处理、金融预测、市场分析与企业管理等。
第二章研究动态
神经网络是一个由大量简单的处理单元广泛连接组成的系统．用来模拟人脑神经系统的结构和功能。
它从开始研究到发展并不是一帆风顺的，经历了兴起到低潮。
再转入新的高潮的曲折发展道路。
20世纪80年代中期以来，在美国、日本等一些西方工业发达国家里，掀起了一股竞相研究、开发神经网络的热潮。
近十多年来人工神经网络的发展也表明了，这是一项有着广泛的应用前景的新型学科，它的发展对目前和未来科学技术水平的提高将有重要影响。
神经网络诞生半个多世纪以来，经历了以下几个发展阶段。
（1）初期阶段
美国心理学家WilliamJames（1890）发表了《心理学原理》一书，论述了相关学习，联想记忆的基本原理．对人脑功能作了创见性地工作。
他指出：
当前基本的脑细胞曾经一起相继被激活过．其中一个受到刺激重新激活时，会将刺激传播到另一个。
同时．James认为：
在大脑皮层上任意点的刺激量，是其他所有发射点进入该点的总和。
美国心理学家W.S.Mcculloh与数学家W.H.Pirts（1943）合作，用逻辑数学工具研究客观事件在形成神经网络中的数学模型表达，从此开创了对神经网络的理论研究（阎平凡，2002）。
心里学家D.O.Hebb（1949）出版《行为构成》一书，首先建立了被称为Hebb算法的连接权训练规则，Hebb学习规则开始时作为假设提出来的，正确性在30年后才得到证实。
他认为学习过程就发生在两个神经细胞相互连接的突触处，并首先提出了神经元权值的修改方案了，Hebb学习规则至今仍产生深刻影响。
F.Rosenblatt（1957）首次提出并设计制作了著名的感知器，提出了一种具有三层网络的结构，第一次从理论研究转入工程现实阶段，从工程角度出发，研究了用信息处理神经网络模型。
BernardWidrow和MarcianHoff（1962）提山了一种连续取值的线性加权求和阈值网络，即自适应线性元件网络，也可以看成是感知器的变形，它成功地应用于自适应信号处理和雷达天线控制等连续可调过程。
他们在人工神经网络理论上创造了一种被人们熟知的Widrow．Hoff学习训练算法，并用硬件电路实现人工神经网络方面的工作．为今天用大规模集成电路实现神经网络计算机奠定了基础（袁曾任，1999）。
（2）低潮阶段
MarbinMinsky和SeymourPapert（1969）出版了一本名为《感知器》的专著，书中指出线性感知器功能是有限的，简单的神经网络只能进行线性分类和求解一阶谓词问题，而一不能进行非线性分类和解决比较复杂的高阶谓词问题（韩力群，2002）。
他还指出，与高阶谓词问题相应的应该是具有隐含单元的多层神经网络。
在当时的技术条件下，他们认为在加隐含单元后，想找到一个多层网络的有效学习算法是极其困难的。
对神经网络的研究及其发展产生了恶劣的影响，有些学者把研究兴趣转移到人工智能和数字计算机有关的理论和应用方面。
这样，推动了人工智能的发展，使它占了主导地位。
美国在此后15年里从未资助神经网络研究课题，前苏联有关研究机构也受到感染，终止了已经资助的神经网络研究的课题。
虽然从事神经网络研究的人员和发表的论文大幅度减少，但仍然有学者继续进行研究。
美国波士顿大学自适应中心的StephenGrossberg和Carpenter（1969）提出了著名的自适应共振理论模型，其中论述到，若在全部神经结点中有一个节点特别兴奋．其周围的所有结点将受到抑制。
（3）复苏阶段
在20世纪70年代后，虽然神经网络研究仍然处于低潮时期，但是有不少科学家在极其困难的条件下坚持不懈地研究，提出了各种不同的网络模型。
日本学者KunihikoFukushima（1970）研究了视觉系统的空间和时空的人工神经系统模型以及脑的空间和时空的人工神经系统模型，提出了神经认识网络理论。
Fukushima网络包括人上神经认识机和基于人工神经认识机的有选择注意力的识别两个模型。
芬兰的T.Kohonen（1972）教授提出了自组织映射理论，并称神经网络结构为“联想存储器”。
同一时期，美国生理和心理学家J.Anderson提出另一个类似的神经网络,称为“交互存储器”。
他们在网络结构、学习算法和传递函数方面的技术几乎完全相同。
T．Kohonen的自组织映射模型是一种无导师学习网络，主要刚于模式识别和分类、语言识别等场合。
随后还研究出了联想记忆网络。
T．Kohonen主要是针对网络结构与训练算法的生物仿真模型的研究。
TerrenceSejnowski和Hinton、Ackley（1984）用统计物理学的概念和方法研究神经网络，提出了波尔兹曼机，首次采用了多层网络的学习算法，并用模拟退火过程来模拟外界环境。
它的拓扑结构与一般两层前馈网络相似，其运行过程也与BP算法的感知器相类似，但学习算法不同。
美国加州理工学院物理学家JohnJHopfield教授（1982）发表的一篇具有里程碑性的论文，他提出一种递归网络——Hopfield网络，将网络作为一个动态系统，引入能量函数训练该系统，使网络稳定性的研究有了明确的判据，并证明了一个互连单元的神经网路系统将达到能量损耗最小的原理，也就是说，系统地动态性保证稳于某个极小值。
若将约束和指标考虑到适当形式的能量函数中，则可利用Hopfield网络的神经计算能力来解决约束优化问题，从而开辟了神经网络用于联想记忆和优化计算的新途径。
Hopfield还指出，神经动态方程可以用运算放大器来实现（韩力群，2002）。
（4）新高潮阶段
1987年6月在美国胜地亚哥召开了第一届国际神经网络学术会议，宣告了国际神经网络协会正式成立。
会上不但宣告了神经网络计算机学科的诞生，而且还展示了有关公司、大学所开发的神经网络计算机方面的产品和芯片，掀起了人类向生物学习、研究和开发及应用神经网络的新热潮（周开利，2005）。
在这之后，每年都要召开神经网络和神经计算机的国际性和地区性会议，促进神经网络的研制、开发和应用。
美国波士顿大学的StephenOrossberg教授、芬兰赫尔辛基技术大学的TenvoKohonen教授及日本东京大学的甘利俊教授，首次创办了世界第一份神经网络杂志。
接着国际电气工程师与电子工程师学会相继也成立了神经网络协会，予1990年3月出版神经网络会刊。
从此以后浦现出各种神经网络的期刊，将神经网络的研究与开发推向新的热潮。
（5）新发展阶段
从神经网络的发展历程来看，它的高潮阶段是很容易度过的。
IJCN91大会主席Rumelhart意识到这一点，在他的开幕词中有一个观点，神经网络的发展已剑了一个转折的时期，它的范围正在不断地扩大，其应用领域几乎包括各个方面。
90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edelamn提出了Darwinism模型。
他建立了一种神经网络系统理论，例如，Darwinism的结构包括Dawin网络和Nallance网络，并且这两个网络是并行的，而他们又包含了不同功能的一些子网络。
他采用了Hebb权值修正规则，当一定的运动刺激模式作用后，系统通过进化，学会扫描和跟踪目标。
Narendra和Parthasarathy（1990年）提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。
他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP参数在线调节方法。
Bulsari（1993年）提出以乘积函数作为激发函数，给出了非线性系统用神经网络逼近的构造描述，得到了节点数目的一个上界估计。
从上述各个阶段发展历程来看，神经网络理论有较强的数学性质和生物学特性，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。
第三章神经网络的基本原理
单层感知器模型是BP神经网络的结构基础，它试图模拟人脑神经元记忆、学习和认知的过程，采用阈值激活函数对一组输入向量的响应达到0或1的目标输出。
人脑神经元的形态各异，但有共性的组织结构，下图是典型神经元的基本结构与其他神经元发生连接的基本结构示意图。
神经网络结构示意图
神经元在结构上由细胞体、树突、轴突和突触四部分组成。
细胞体由细胞核、细胞质和细胞膜等组成。
树突是精致的管状延伸物，是细胞体向外延伸山的许多较短的分支，围绕细胞体形成灌木丛状，他们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”，信息流从树突出发，经过细胞体，然后由轴突传出。
轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分。
其相当于细胞的“输出端”。
1943年心理学家McCelland和数学家W．Pitts在分析人脑神经系统结构的基础上，提出MP模型。
该模型经过不断改进，形成现在的BP神经元模型。
构成BP神经元模型的三要素是：
（1）具有一组突触或连接。
常用
表示神经元i和神经元j之间的连接强度，即权值。
（2）具有反映生物神经元时空整合功能的输入信号累加器。
（3）具有一个激励函数朋丁限制神经元输出。
通常神经元的输出范围在[0，l]或[-1，1]间。
一个典型的人工神经元模型如下图所示。
人工神经元模型
其中
（j=1,2,···,N）为神经元i的输入信号，
为连接权。
是由输入信号线性组合后的输出，是神经元i的净输入。
为神经元的阈值，
为经偏差调整后的值，也称为神经元的局部感应区。
=
+
f（·）是激励函数，
是神经元i的输出。
激励函数f（·）可取不同的函数，但常用的基本激励函数有以下三种：
（1）阈值函数
该函数又叫阶跃函数，如果激励函数采用阶跃函数，则人工神经元模型即MP模型。
此时神经元的输出取1或0，反映了神经元的兴奋或抑制。
通常符号函数Sgn（t）也作为神经元的激励函数。
（2）分段线性函数
该函数在[-1,1]线性区内的放大系数是一致的，这种形式的激励函数可看作是非线性放大器的近似。
（3）Sigmoid的函数
Sigmoid函数又称S型函数，是人工神经网络中最常用的激励函数。
S型函数的数学表达式如下：
其中
为Sigmoid函数的斜率参数，通过改变参数，会获取不同斜率的Sigmoid函数，如下图所示。
当斜率参数
接近无穷大时，此函数转化为简单的阈值函数，但阈值函数仅取值0或l，而Sigmoid函数的值域是0到1的连续区间，还要注意到Sigmoid函数是可微分的，而阈值函数不是。
第四章BP算法的步骤及流程图
BP算法的总体步骤大致如下：
（1）权值初始化：
将一组较小的非零数值，随机赋予
、
、
。
（2）确定BP神经网络的结构参数并定义变量：
设
，（k=1,2,···，N）为输入向量，N为训练样本的个数。
为第n次迭代的网络实际输出。
为期望输出。
（3）输入训练样本：
依次输入训练样本集
，设此次学习的样本是
（k=1,2,...,N）。
（4）正向传播：
按照公式计算网络输出和样本
的训练误差。
（5）反向传播：
根据误差信号，更新各层权值和阈值。
判断是否K>N，若大于，转到步骤（6），否则回到步骤（3）。
（6）计算网络训练总误差，若达到精度要求，则结束训练，否则回到步骤（3），开始新一轮的学习。
下图为BP算法的实现过程，将执行步骤串联成流程图的形式。
第五章BP神经网络的参数选则
1.BP神经网络激活函数的选择
误差在反向调节过程中，该函数的导数也是求解误差梯度的重要参数。
常用的激活函数是S型函数，它包括值域在（0,1）区间的Sigmoid函数和值域在（-1，1）的正切函数。
函数表达式如下。
，
为常数
（-1Sigmoid函数中
参数的变化会影响BP网络的训练速度。
网络在初期的收敛速度会随着
的增大而加快，但与此同时振荡也会不断地提前，并且越来越严重，甚至导致无法收敛。
相同初始条件下，通过调整
值，可以寻找一个最佳形状的Sigmoid函数，使网络的学习次数达到最小，但是试图增大
值来获取较高的网络收敛速度是行不通的。
2.BP神经网络初始权值的选择
选取不冋的初始权值，不会影响网络的收敛精度，但有可能造成网络在某一局部极小值周围徘徊。
使初始权值在[-0.5,0.5]和[-1.5，1.5]的区间内随机取值会发现：
（1）对于不同的训练对象和网络结构，最佳初始权值的范围不同。
（2）最佳初始权值不能保证最终取得最佳收敛效果和最短训练时间。
（3）初始权值不宜取得过大。
取值过大意味着各初始权值间的差异大，所以训练权值在[-10,10]范围内为宜。
3.BP神经网络学习率的选择
BP算法的理论基础是梯度下降法，在学习过程中利用该方法使权重沿误差曲面的负梯度方向调整。
学习率
也称学习步长，是决定权重调整量
大小的关键因素。
标准BP神经网络在学习过程中，学习率始终保持不变。
学习率选取过小，则每次权值的调整最就小，网络收敛速度慢。
学习率选取过大，可能导致网络在误差的最小值附近跳动，产生震荡现象，网络因此变得发散。
对于标准BP神经网络，学习率的初始值贯穿于整个网络学习过程，取值范围在[0.1，0.7]。
第六章神经网络在时滞对象中的应用
研究神经网络对大时滞对象的控制，可以从制粒机入手。
下图是制粒机的基本结构。
喂料器将粉状物料送入环模制粒机中，最先是进入调质器当中。
调质器的作用是调质，也就是让粉状物料和蒸汽相混合，从而提高制粒的效果，并对物料进行所需的工艺处理。
经过调质器可以将粉状物料调制成膏状物料，并将膏状物料送去制粒。
在制粒工艺中，膏状物料被送入一个环模制粒装置中。
该装置中设有刀片和环模。
在主电动机的带动下，膏状物料会被压入环模制粒装置中，再通过刀片将其切成一个个颗粒。
基于神经网络的环模制粒机控制系统是一个双输入双输出多变量系统，主要控制的是主电机电流和调质温度。
其中，喂料电动机转速u1（控制喂料量）和蒸汽阀开度uT（控制调质温度）为系统的操纵变量，环模制粒机主电机电流y1和调质温度yT为被控变量。
按照单个回路来看，调质温度与设定值有偏差的时候，应当调节蒸汽阀开度来使温度达到设定值；制粒机主电机电流与设定值有一定的误差时，应当调节喂料量来使电流达到设定值。
然而，喂料量的增加不仅导致制粒机主电机电流增大，同样也会引起调质温度的降低；要使调质温度上升，必须增大蒸汽阀开度从而增加蒸汽量，而蒸汽量的上升又会在一定程度上导致膏状物料的熟化、软化，进而造成制粒机主机电流的减小。
综上所述，调质温度和主电机电流之间存在耦合。
在制粒生产过程中，控制器根据采集到的电流与温度的实际值与设定值进行比较，如设定值大于实际值，则增加喂料器与调质器的变频器电流值，喂料速度增加，喂料量增多，温度升高;反之，则降低喂料器与调质器的变频器电流值，减小喂料量，降低温度。
需要注意的是，由于饲料在制粒前需要经过调质器进行调质，等待一定时间后才能到达制粒装置，因此，喂料速度的变化引起主电机电流的变化有一个滞后时间;同样，饲料在进入调质器到达温度的检测点也有一定的滞后时间。
这个滞后时间反映在嵌入式控制器中，就要求控制器合理地采集电流信号，如果频率较大，则可能调节过度，使实际参数在理想参数左右摆动较大，甚至造成堵机;如果频率较小，则不能及时地将喂料速度和蒸汽量体现在实际电流值中。
经过合理的程序控制，本设计有效地克服了它的滞后特性，保证了制粒机工作电流的稳定性。
通过神经网络的学习功能，可以使喂料量、调质温度等一些参数达到某一合理的位置，神经网络的自身权值通过学习获得。
最终，由于控制方案中引入了神经网络，能够使得到的结果合理化。
制粒机因此能工作正常，时滞性问题迎刃而解。
参考文献
[1]钟文瀚.基于神经网络的广义预测控制的糖厂澄清工段的优化控制研究[D].广西大学.2012
[2]郭志宇.神经网络基微波无源器件建模[D].华东师范大学.2012
[3]张玉杰.锅炉燃烧系统的广义预测控制研究[D].哈尔滨理工大学.2012
[4]饶新.神经网络在电厂煤耗性能计算中的应用研究[D].东华大学.2013
[5]杨玉婧.基于神经网络的旋转机械振动故障诊断的研究[D].华北电力大学.2012
[6]付力业.基于神经网络的中厚板轧制力预报[D].太原科技大学.2013
[7]王凤美.基于神经网络的射频和微波无源器件建模与仿真实现[D].华东交通大学.2012
[8]李亚伟.非手术脊柱减压治疗设备神经网络控制系统开发[D].郑州大学.2012
[9]李小玉.基于小波分析和遗传神经网络的模拟电路故障诊断[D].湖南大学.2012
[10]高璇.基于神经网络的故障诊断研究[D].东北大学.2010
升级会员 