人工神经网络及其应用.docx
《人工神经网络及其应用.docx》由会员分享，可在线阅读，更多相关《人工神经网络及其应用.docx（21页珍藏版）》请在冰点文库上搜索。
人工神经网络及其应用
研究生课程考试答题纸
研究生学院
考核类型：
A（）闭卷考试（80%）+平时成绩（20%）；
B（）闭卷考试（50%）+课程论文（50%）；
C（√）课程论文或课程设计（70%）+平时成绩（30%）。
学号：
姓名：
班级：
题号
一
二
三
四
五
六
七
八
九
十
合计
满分
40
30
30
100
得分
一、撰写“人工神经网络及其应用”论文（40分）
要求：
1、人工神经网络的发展前景；
2、人工神经网络的种类及应用领域；
3、结合自己的专业和课题方向论述人工神经网络在该领域中的应用；
4、结合实例做仿真研究。
二、课程设计——编写程序（30分）
根据所学人工神经网络学习训练算法，编制人工神经网络训练算法程序，训练非线性函数模拟。
三、平时成绩（30分）
人工神经网络及其应用
摘要：
人工神经网络技术是人工智能的重要分支，具有自适应、自组织、自学习的特点。
在近二十年中发展中取得了大量成果，本文详细介绍了神经网络的发展前景，人工神经网络的种类和应用领域，在信号去噪领域的应用并结合实例做了仿真研究。
关键词：
神经网络发展前景信号去噪应用
1、人工神经网络的发展前景
人工神经网络（ArtificialNeuralNetworks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。
神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。
神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。
人工神经网络的整个发展过程，大致可以分为4个阶段：
形成时期，低谷时期，复兴时期，发展时期。
（1）形成时期
1943年，生理学家McCulloch和数学家Pitts发表文章，提出了第一个神经元模型（M-P模型），他们的努力奠定了网络模型和以后神经网络开发的基础，开启了人们对人工神经网络的研究。
1951年，心理学家DonalaO.Hebb提出了连接权值强化的Hebb法则：
在神经网络中，信息存储在连接权中，神经元之间突触的联系强度是可变的，这种变化建立起神经元之间的连接。
Hebb法则为构造有学习功能的神经网络模型奠定了基础。
1954年，生物学家Eccles提出了真实突触的分流模型，这一模型通过突触的电生理实验得到证实，因而为神经网络模拟突触的功能提供了原型和生理学的证据。
1956年，Uttley发明了一种由处理单元组成的推理机，用于模拟行为及条件反射。
70年代中期，他把该推理机用于自适应模式识别，并认为该模型能反映实际神经系统的工作原理。
1960年，Widrow和Hoff提出了自适应线性元件Adaline网络模型，这是一种连续取值的自适应线性神经元网络模型，他们对分段线性网络的训练有一定作用，此方法速度较快且具有较高的精度。
（2）低谷时期
在第一次神经网络研究热潮中，人们忽视了其本身的局限性。
1969年Minskyh和Papert经过多年的研究，提出了对当前成果的质疑，指出当前的网络只能应用于简单的线性问题，却不能有效地应用于多层网络，由此开始了神经网络的低谷期。
1972年，芬兰的Kohonen教授，提出了自组织映射（SOM）理论；同时美国的神经生理学家和心理学家Anderson，提出了一个与之类似的神经网络，称为“交互存储器”。
现在的神经网络主要是根据Kohonen的工作来实现的。
1980年福岛邦彦发表的“新认知机”（Neocognitron）是视觉模式识别机制模型，它与生物视觉理论结合，综合出一种神经网络模型，使它像人类一样具有一定模式识别能力。
在低谷时期，许多重要研究成果都为日后神经网络理论研究打下了坚实的基础。
（3）复兴时期
1982年，美国物理学家Hopfield博士提出了Hopfield模型理论，他证明了在一定条件下，网络可以达到稳定的状态。
在他的影响下，大量学者又重新开始了对神经网络的研究。
1986年，由美国的Rumelhart和McCkekkand提出了PDP（ParallelDistributedProcessing）网络思想，再一次推动了神经网络的发展。
20世纪90年代中后期，神经网络研究步入了一个新的时期，在已有理论不断深化的同时，新的理论和方法也不断涌现。
1995年，Jenkins等人开始研究光学神经网络（PNN），建立了光学二维并行互连与电子学混合的光学神经网络系统。
经过多年的发展，目前已有上百种的神经网络模型被提出与应用。
（4）发展时期
20世纪80年代，随着人工神经网络在世界范围内的复苏，我国也逐步掀起了对其的研究热潮。
1990年2月由国内8个顶尖学会（生物物理学会和心理学会、人工智能学会、自动化学会、中国电子学会、中国计算机学会、通信学会、物理学会）联合在北京召开“中国神经网络首届学术会议”。
这次大会的主题是“八学会联盟，探智能奥秘”，并且收到300多篇学术论文，开创了中国人工神经网络及神经计算机方面科学研究的新纪元。
经过十几年的不断发展，中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果。
与此同时，国外人工神经网络也在迅速发展着。
1987年，在美国加州召开了第一届国际神经网络学会。
此后每年召开两次国际联合神经网络大会（IJCNN）。
同时也创建了很多相关刊物。
至此，神经网络理论研究在国内国外学术领域已经受到了相当的关注。
90年代，国内外许多学者进一步完善和发展了神经网络领域。
特别是通过神经网络方法来解决非线性系统的控制问题，并取得了突出的成果。
1991年在南京召开了中国神经网络学术大会（第二届），并成立了中国神经网络学会。
我国“863”高技术研究计划和“攀登”计划、相关基金、年会、期刊等都把神经网络的研究列入重要课题范围。
这些都为我国发展神经网络创造了良好的条件，INNS开始重视我国。
1992年，在北京召开由国际神经网络学会、IEEE神经网络委员主办的国际性学术会议IJCNN。
Wunsch在90OSA年会提出一种AnnualMeeting，用光电执行ART，主要计算强度由光学硬件完成，它的学习过程有自适应滤波和推理功能，具有快速和稳定的学习特点。
1995年Jenkins等人研究了光学神经网络（PNN），建立了光学神经网络系统，用光学二维并行互连与电子学混合实现了光学神经元，意味着应用新的方法来解决光学实现相减和取阈的问题。
充分发挥了光学强大的互连能力和并行处理能力，提高神经网络的实现规模，从而加强了网络的自适应功能和学习功能。
Albus在1975年提出了小脑模型关节控制器（CMAC）。
依此，Miller等人进一步研究了非线性动态系统控制问题，它具有局部逼近和修改权极小的特点，但采用间断超平面对非线性超曲逼近时，会出现精度不够，也有可能得不到相应的导数估计的情况。
1992年Lane对它作了改进，使逼近超平面的光滑性更好，逼近精度有一定提高。
1993年Bulsari[4]提出了以乘积Sigmoid函数作为激发函数，并给出非线性系统用神经网络逼近的构造性描述，得到了节点数目的上界估计。
1997年罗忠等人[5]对CMAC的收敛性以及hash编码对它的影响作了矩阵分析和证明。
2000年，Setiono提出了快速规则抽取算法。
所谓快速是相对于其他的基于结构的规则抽取算法而言，去掉不重要的连接，但要对网络进行训练，保证神经网络的精度，这增加了算法的消耗，降低了效率。
所以，Setiono又提出来了FERNN算法，该算法不用对神经网络进行多次的训练，可以抽取MOFN规则或DNF规则。
几年来混沌神经网络也得到很好的发展，Aihara等提出了混沌神经网络模型，之后出现多种改进模型，2004年，提出了用于计算混沌神经网络最大Lyapunov指数的一种算法，基于最大指数的计算，研究网络混沌区域的分布和特征，可以合理的选择网络参数。
2004年，武妍、王守觉等人提出了一种基于结果反馈的神经网络训练算法，其将输入调整与权值调整的BP算法结合起来，通过双重调整来最小化误差函数。
该方法是通过对输入样本集的模糊化处理来避免学习过程中的过拟合，提高了网络的泛化能力。
2011年第12届国际语音通信协会上，微软研究人员发布了人工神经网络进行大词汇语音识别的论文，其利用深度网络模型（DNNs）建立因素模型用于语音识别实验，此法与常规方法相比误差较小，这是神经网络应用的一大进步。
2、人工神经网络的种类及应用领域
（1）人工神经网络种类
小波神经网络
小波神经网络是20世纪90年代初结合小波分析理论和神经网络两者的优点而提出的一种前馈型神经网络。
其基本思想是用小波元代替神经元，通过仿射变换建立起小波变换与网络系数之间的连接，并应用于逼近L（Rn）中的函数f（x）。
结合小波变换良好的时频局域化性质和传统神经网络的自学习功能，使得小波神经网络具有如下特点：
小波基元及整个网络的确定有可靠的理论依据，可以避免BP网络等结构设计的盲目性；网络权系数和学习目标函数的凸性，使网络从根本上避免了局部最优等非线性化问题；有较强的函数学习能力和推广能力。
小波分析的基本思想是用一簇数去表示或逼近一函数或信号，这簇函数称为小波函数系。
它是通过一母波函数的伸缩和平移构成的。
小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来，具有自适应分辨性和良好的容错能力，因此特别适合应用在函数逼近、系统辩识、数据压缩等领域。
但是，小波网络也还有待改进。
例如在高维数据处理方面小波神经网络的研究还很少，这是由于多维小波理论构造比较复杂所决定的。
所以小波网络的发展还取决于小波理论的进一步研究。
智能研究的实践表明，单纯依赖某种理论和技术是不现实的。
因此今后小波神经网络的研究应注意结合吸收模糊、分形、混沌、进化计算等交叉学科的研究成果，以开拓小波神经网络研究的更为广阔的前景。
模糊神经网络
模糊神经网络这一新兴领域的开拓者应该归功为美国南加利福尼亚大学信号和图像处理研究所长B.kosko教授。
1987年，B.kosko率先将模糊数学与神经网络相结合，提出了模糊神经网络的概念。
在这之后短短的几年时间内，模糊神经网络的理论及应用获得了迅速的发展，各种新的模糊神经网络模型的提出以及与其相适应的学习算法的研究不仅加速了模糊神经网络理论的完善，而且在实际中得到了广泛的应用，其成果层出不穷。
近年来，各种杂志、刊物发表了大量有关模糊神经网络的文献,IEEETranaonNeuralNetwork还出版了有关这方面的专辑，并涌现了不少的专著。
模糊神经网络主要有三种结构
（1）输入信号为普通变量,连接权为模糊变量；
（2）输入信号为模糊变量,连接权为普通变量；（3）输入信号与连接权均为模糊变量。
根据网型及学习算法中的点积运算是使用模糊逻辑运算（fuzzylogicoperations）还是使用模糊算术运算，而分成常规型（regular）和混合型（hybrid）模糊神经网络。
进化神经网络
近年来,越来越多的研究人员正在从事神经网络（NN）与进化算法（EA）相结合的研究工作，从而开辟了新的进化神经网络研究领域。
可以说它是神经网络与进化算法的跨学科结合的产物,尽管它们的思想都萌芽于20世纪中叶，但二者的结合却是20世纪末的事情。
人们想通过研究进化神经网络更好地理解学习与进化的相互关系，并且这一主题已成为人工生命领域中十分活跃的课题。
进化神经网络的主要研究内容为:
如何对神经网络的结构进行编码，即网络参数编码的确定，包括选择待编码的参数、为各参数分配串长、定义串值与参数值之间的映射关系等。
基于传统BP神经网络存在的问题，本文将遗传算法与BP网络有机结合起来，提出了进化神经网络学习算法。
该算法主要按照传统BP学习算法的过程进行学习,当学习过程处于局部极小时，就开始使用遗传算法产生新的子代，从这些新的子代和他们的父代中选择一个具有最优适合度的染色体作为新的起点，经过交叉、变异得出新的权值,实现搜索全局最优解。
由此可见，该算法的复杂度并没有太大的增加，同时又保证了学习过程的全局收敛性，大大加快了学习的收敛速度。
混沌神经网络
目前,人们已提出了各种混沌神经网络模型,其中最具代表性的模型有三大类,即:
Aihar根据动物实验提出的混沌神经网络模型；由Lnoue以及Kaneko等提出的耦合混沌神经元网络模型；由Chen和Aihara、Wang和Smith以及Hayakwa等提出的将传统的Hopfield神经网络进行适当的变换之后得到的一些具有混沌特性的神经网络模型。
对于混沌神经网络的研究同其他神经网络的研究一样主要是集中在三个方面,即时理论研究、应用研究和实现研究。
主要有：
提出具有混沌特性的新型神经元；对现在混沌神经网络特性进行分析并加以改进；对混沌神经网络中的混沌加以控制；小尺寸混沌神经网络特性分析等。
对于混沌神经网络的应用研究主要包括:
混沌神经网络用于模式识别和图像处理；混沌神经网络用于优化和控制；混沌神经网络用于通信及语音处理；对于混沌神经网络的实现研究主要是究怎样以电路的方式来实现混沌神经元和混沌神经网络。
（2）人工神经网络应用领域
神经网络理论的应用取得了令人瞩目的发展，特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别、CAD/CAM等方面都有重大的应用实例。
下面列出一些主要应用领域[4]：
（1）模式识别和图像处理。
印刷体和手写字符识别、语音识别、签字识别、指纹识别、人体病理分析、目标检测与识别、图像压缩和图像复制等。
（2）控制领域。
人工神经网络由于其独特的模型结构和固有的非线性模拟能力，以及高度的自适应和容错特性等突出特征，在控制系统中获得了广泛的应用。
其在各类控制器框架结构的基础上，加入了非线性自适应学习机制，从而使控制器具有更好的性能。
基本的控制结构有监督控制、直接逆模控制、模型参考控制、内模控制、预测控制、最优决策控制等。
（3）预报和智能信息管理。
股票市场预测、地震预报、有价证券管理、借贷风险分析、IC卡管理和交通管理。
（4）通信。
自适应均衡、回波抵消、路由选择和ATM网络中的呼叫接纳识别和控制。
（5）空间科学。
空间交汇对接控制、导航信息智能管理、飞行器制导和飞行程序优化管理等。
（6）心理学领域。
从神经网络模型的形成开始，它就与心理学就有着密不可分的联系。
神经网络抽象于神经元的信息处理功能，神经网络的训练则反映了感觉、记忆、学习等认知过程。
人们通过不断地研究，变化着人工神经网络的结构模型和学习规则，从不同角度探讨着神经网络的认知功能，为其在心理学的研究中奠定了坚实的基础。
近年来，人工神经网络模型已经成
为探讨社会认知、记忆、学习等高级心理过程机制的不可或缺的工具。
人工神经网络模型还可以对脑损伤病人的认知缺陷进行研究，对传统的认知定位机制提出了挑战。
3、人工神经网络（线形神经网络）在信号去噪领域中的应用
3.1引言
神经网络是当今研究的一个热点课题，在人工智能，生物工程以及心理学等方面均具有广阔的应用前景。
针对含有固定噪声源的语音信号，通过频谱分析发现，噪声与有用信号频谱会在同一频段发生重叠。
在这种情况下，利用传统的FIR经典滤波器将无法对噪声进行有效的滤除。
故考虑采用线性神经元的网络结构来构成自适应滤波器，因为神经网络滤波器在自动调节本身系统以达到人们的预想目的方面具有其它传统的经典滤波器所不可比拟的优越性，在解决混杂特定噪声的语音滤波问题中会显示出较大的优势。
在神经网络训练的过程中利用“对消”的思想，可以很好地逼近原始信号。
整个过程采用MATLAB编程实现，它可以在一定程度上弥补FIR滤波器的不足。
由于噪声来源于各种实际的应用环境，故不同的噪声其特性差别很大。
噪声可以是加性的，也可以是乘性的。
对于非加性噪声，有些可以通过变换转变为加性噪声。
（例如，乘积性噪声或卷积性噪声可以通过同态变换而成为加性噪声）从谱分析的角度来看，噪声大致可以分为以下三类：
周期性噪声，冲激噪声，带宽噪声和语音干扰。
神经网络的基本单元为神经元，它是对生物神经元的简化与模拟，与神经网络之间是个体和整体的关系。
大量神经元的相互连接即构成了神经网络。
3.2问题描述
在实际生活中，我们常常会遇到语音信号中含有固定噪声源的情况。
如在学校的广播室里，节目主持人正在对着话筒说话，声音将通过麦克风传到外面学校广场上的扩音器播放出去。
如果在停电的情况下要保持正常播音，需用小型发电机发电。
然而这时发电机工作时所发出的轰鸣声也会通过麦克风传出去，使得广场上的同学根本不能听清主持人的话。
又如，医院里用于给病人检查身体的一些仪器，如心电图，CT仪等，可能会受到内部一些固定频率信号的干扰，从而使得在仪器显示频上显示出的心电图信号不纯。
对这些混杂的噪声信号进行分析不难发现它们具有以下特点：
第一，噪声源相对比较固定，这为我们通过采样的方法提取一个较为单纯的噪声样本提供了可能；第二，这些噪声与我们所发出的语音信号比较，是相对独立的，也就是说，它们属于加性噪声，与原始的语音信号并不相关，但是却会始终干扰有用信号。
第三，它们和语音信号一样，也要通过通信信道传输，在这个过程中，噪声信号将发生一个线性变换，其线性关系将由通信信道的性质决定。
3.3去噪模型的建立
利用线性神经元网络构成自适应滤波器来解决上述问题。
当输入矢量与目标矢量之间是线性关系时，通过线性神经网络就可以得到一个完全的线性拟合;如果是非线性关系，则只能得到输入、输出间的最大线性拟合解。
而我们已经知道，当噪声被录入麦克风，经过传输信道，最后通过扩音器输出，其间经过的是一个线性变换，至于这个线性变换具体的表达形式则完全由传输信道而定，甚至它还可以随着传输信道的改变而改变。
但不管其具体的形式如何，通过线性神经网络，都可以实现由输入向目标的逼近。
当然，在这个过程中，原始的语音信号经过传输信道后也会发生线性变化，不过它与发电机发出的噪声之间仍然不存在相关关系。
所以，我们可以这样来确定神经网络的各个参数：
首先对噪声信号进行采样，得到一个原始噪声信号的样本作为输入的参考信号，设为r（t）。
将经过信道传输，由扩音器输出的混杂有噪声的语音信号也进行采样得到一个样本，设为x（t）,令x（t）=s（t）＋n（t）.其中，s（t）表示通过信道后的原始话音，n（t）表示通过信道后的话音中混杂的噪声。
r（t）与s（t）不相关，但与n（t）相关。
经过神经网络训练后，得到一个输出a（t）,使得a（t）尽量与x（t）中的n（t）相匹配,那么网络的“误差值”，即
e（t）＝x（t）－a（t）
（1）
即为我们所需要的有用信号，它是尽量逼近于原始语音信号s（t）的。
利用这种“对消”思想，可得到较为纯正的原始话音。
去噪模型可用下面的框图来表示：
x（t）=s（t）+n（t）
z（t）
+
-
---
控制
4、结合实例做仿真研究（自适应噪声消除）
线性神经元被允许适应，使给定的一个信号可以预测的第二信号。
程序如下：
time=1:
0.01:
2.5;
X=sin（sin（time）.*time*10）;
P=con2seq（X）;
T=con2seq（2*[0X（1:
（end-1））]+X）;
plot（time,cat（2,P{:
}）,time,cat（2,T{:
}）,'--'）
title（'InputandTargetSignals'）
xlabel（'Time'）
legend（{'Input','Target'}）
net=newlin（[-33],1,[01],0.1）;
[net,Y,E,Pf]=adapt（net,P,T）;
plot（time,cat（2,Y{:
}）,'b',...
time,cat（2,T{:
}）,'r',...
time,cat（2,E{:
}）,'g',[12.5],[00],'k'）
legend（{'Output','Target','Error'}）
参考文献：
[1]焦立成.神经网络系统理论[J].西安：
西安电子科技大学出版社，1990.
[2]王景瑞.《神经计算机的应用及其发展》电子技术.1998
[3]王旭，王宏.人工神经元网络原理与应用[J].吉林：
东北大学大学出版社，2001.
[4]杨行峻，郑君里.人工神经元网络[M].高等教育出版社，1992年9月.
[5]赵长青,李欧迅,黄书童.BP神经网络数字识别系统的设计方法[J].桂林航天工业高等专科学校学报.2010.3:
292-294
课程设计--BP曲线逼近
一、BP网络学习原理
多次前馈网络中，第一层为输入层，第Q层为输出层，中间各层为隐层，神经处理单元的特征函数是
。
BP网络的学习过程是由正向传播和误差反向传播组成，把输入样本从输入层传到隐含层单元，经隐含层单元逐层处理后产生一个输出，至输出层，这个过程为正向传播，如果输出层没有得到所期望的输入值，把期望值和输出值的误差信号按原路径返回，并通过修改各层神经元的连接权值，使误差信号为最小。
这个过程为反向传播。
第一层为输入层，第Q层为输出层，中间为隐含层，如图1.1。
设第q层的神经元个数为nq，输入到第q层的第i个神经元的连接权系数为
（i=1,2,…,nq-1）,该网络的输入输出变换关系为
（
，
）
图1.1神经元网络
设给定P组输入输出样本
设定拟合误差的代价函数为
采用一阶梯度法调节连接权系数E最小。
最后归纳出BP网络的学习算法如下：
，
二、用BP算法拟合正弦曲线
在本实验中选取的学习曲线为
，学习的样本点为21个，输入的样本点：
，样本点的输出为
，输入层为单输入x，输出层为单输出y，中间隐含层为一层，十个神经元。
输入层的权值是不可调节，所以在这里不做考虑。
隐含层权值变量设为w1，输出层权值变量设为w2。
在编程时设定网络的学习结束可以通过限定学习的次数，在学习的次数达到后停止学习，也可以根据学习后的输入和理想值的误差实现网络想学习的结束。
这两种方法各有各的优缺点，前者可以要网络在一定的时间内学习结束，但是有可能学习次数相对太少，学习的效果不是最佳，既是没有学习好，输出的误差有可能很大。
也有可能学习的次数相对太多了，最后的学习几乎没什么变化，只是循环。
输入几乎没变化。
后者根据学习输出和理想值输出的误差来实现循环。
优点是它能够在学习达到一定的要求后自动跳出循环，这样可以达到规定的要求。
也节省学习的时间，但是当误差或者学习率设定的不合理时会出现死循环。
需要增添其他代码使之跳出。
本文编程采用第一种方法，限定学习次数1000。
学习1000后自动跳出停止学习。
学习率设定为0.1。
代码编写简要流程如图1.2。
图1.2BP算法程序框图
三、BP网络学习结果分析
通过图1.3、图1.4图1.5可以看到BP网络学习的过程曲线和最后学习结束后的曲线。
BP学习过程中存在许多缺陷：
首先在本次实验中选取的神经单元模型的输出变换函数是
，所以神经单元的输出是在（0，1）的开区间内，对于
函数的学习，网络只能学习正半周期，而且网络输出达不到1，对于本实验的函数
网络在两个极大值和极小值端，网络永远都达不到理想值。
升级会员 