神经网络论文.docx

神经网络论文.docx

《神经网络论文.docx》由会员分享，可在线阅读，更多相关《神经网络论文.docx（14页珍藏版）》请在冰点文库上搜索。

神经网络论文

神经网络原理及应用论文

神经网络在模式识别领域的应用

院系：

专业：

姓名：

学号：

指导教师：

手机号：

2013年5月

摘要：

神经网络已经广泛地应用于图像分割和对象的识别、分类问题中。

随着人工神经网络技术的发展，神经网络模式识别在模式识别领域中起着越来越重要的作用，神经网络模式识别已成为模式识别的一种主要方法。

由D．E．Rumelhart和J．L．Mcclelland于1986年提出的多层人工神经网络及误差逆传播学习算法，即BP网络算法是至今影响最大的一种网络学习算法，据统计有90％的实际网络使用了这一算法。

在处理环境信息十分复杂、背景知识不十分清楚、推理规则不明确、样本有较大的缺损、畸变的R&D项目中止决策分析等方面，可以认为BP算法会有更好的结果。

关键词：

神经网络模式识别BP网络算法

一神经网络在模式识别领域的研究现状

1神经网络简述

1.1神经网络定义

Hecht-Nielsen在1988年给出了人工神经网络（artificialneuralnetworks，ANN）的定义，即人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。

这些处理单元（PE—ProcessingElement）具有局部内存，并可以完成局部操作。

每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。

处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。

也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。

1.2神经网络发展史

神经网络的研究与计算机研究几乎是同步的，其发展历程可分为四个阶段。

第一阶段是启蒙期，始于1943年。

1943年心理学家M．McCulloch和数学家W．H．Pitts合作提出了形式神经元的数学模型，成为神经网络研尧的开端。

第二阶段是低潮期，始于1969年。

1969年人工智能创始人之一的M．Minsky和S．Papert出版《感知器（Perceptrons）书，指出了感知器的局限性，加之当时串行计算机正处于全盛发展时期，早期的人工智能研究也取得了很大成就，使有关神经网络的研究热潮低落下来。

第三阶段是复兴期，从1982年到1986年。

1982年和1984年，美国加州工学院物理学家Hopfield教授相继发表了两篇重要论文，提出了一种新的神经网络模型，引入能量函数的概念，并用简单的模拟电路实现，同时开拓了神经网络用于联想记忆和优化计算的新途径，点燃了神经网络复兴的火炬。

1986年D．E．Rumelhart和J．L．McClelland领导的研究小组出版《并行分布处理》（ParallelDistributedProcessing）一书，提出多层感知器的反向传播算法，清除了当初阻碍感知器模型继续发展的重要障碍，使复兴的火炬迸发出更加耀眼的光芒。

另一方面，20世纪80年代以后传统的基于符号处理的人工智能在解决工程问题时遇到许多困难，现代的串行机尽管有很好的性能，但在解决像模式识别、学习等对人来说轻而易举的问题上显得非常困难。

这就使人们怀疑当前的冯·诺依曼机是否能解决智能问题，也促使人们探索更接近人脑的计算模型，于是又形成了对神经网络的研究热潮。

第四阶段是1987年至今，其标志是J．D．Cowan与D．H．Sharp发表的回顾性综述文章“神经网络与人工智能”。

1987年以后，神经网络应用领域的研究相当活跃，神经网络已不再仅仅停留在研究阶段，人们开始动手实践，设计并实现一定规模的神经元芯片、神经计算机装置；在现有计算机上建立神经网络软件开发工具；应用神经网络理论和方法解决各种应用问题等。

这一阶段的理论进展较少，神经网络的研究逐渐趋于平稳。

2神经网络在模式识别领域的研究

2.1神经网络模式识别法优点

神经网络在模式识别、智能控制、信号处理、计算机视觉、优化计算、知识处理、生物医学工程等领域已有广泛的应用，模式识别是神经网络的主要应用领域之一。

神经网络模式识别法与传统方法相比具有下面几个明显的优点：

（1）具有较强的容错性，能够识别带有噪声或畸变的输入模式。

（2）具有很强的自适应学习能力。

（3）能够把识别和若干预处理融为一体进行。

（4）采用并行工作方式。

（5）对信息采用分布式记忆，信息不易丢失，具有鲁棒性。

2.2神经网络模式识别原理

神经网络（ANN）由许多具有非线性映射能力的神经元组成。

神经元之间通过权系数相连接．它的信息分布式存储于连接权系数中，使网络具有很高的容错性和鲁棒性，而在模式识别中往往存在噪声干扰或输入模式的部分损失，网络的这一特点是成功解决模式识别问题的原因之一。

另外，ANN的自组织、自适应学习的功能，大大放松了传统识别方法所需的约束条件，使其对某些识别问题显示出极大的优越性。

对于一个典型的神经网络模式识别系统（图6．3．1）。

总的来说，采集系统将采集到的原始数据输入模式识别系统，这些原始数据集合形成一个激励向量。

寻找存在于激励向量内部特征的相关属性，是这种系统的一个最基本要求。

这些能够更真实、更清晰地表达模式基本结构相关属性的一个有序集合构成一个特征向量。

如何寻找该特征向量是问题的关键。

这就要涉及模式特征提取与选择的问题，最后要求建立一个能够识别不同模式的网络。

本节先利用自组织特征映射算法和K均值聚类算法进行运动区域特征的选择，然后利用BP算法训练运动区域特征向量，获得稳定的网络，最后根据运动区域的特征向量通过该网络的输出值，识别出运动区域的类别。

二神经网络在模式识别领域的应用实例

1BP网络学习算法及改进

1.1BP网络学习算法

由D．E．Rumelhart和J．L．Mcclelland于1986年提出的多层人工神经网络及误差逆传播学习算法是至今影响最大的一种网络学习算法，据统计有90％的实际网络使用了这一算法。

由于这一网络采用了误差逆传播（ErrorBackPropagation）学习算法，所以人们简称之为误差逆传播人工神经网络或BP网络。

该算法实质是把一组样本输入、输出问题转化为一个非线性优化问题，并通过梯度算法进行迭代运算求解权值问题。

神经网络通常有一个或多个隐含层。

BP网络的结构及误差反向传播如图9-4·3所示。

图9．4．4所示的含有一级隐含层的基于BP算法的神经网络中，P代表输入层，有7个分量所描绘的输入向量，根据Kolmogorov定理，隐含层取7×2+1—15个神经元。

wl和w2分别为输入层和隐含层的权向量，b1和b2分别为输入层和隐含层的偏差向量，a1和a2分别为隐含层和输出层的输出向量，s1和s2分别为隐含层和输出层的神经元数，n1和n2分别为隐含层和输出层的加权和向量。

输入层与隐含层之间采用双曲正切s型传递函数；隐含层与输出层之间采用线型传递函数。

应用BP神经网络分类的关键问题涉及网络结构设计、网络学习等。

在BP神经网络结构确定后，就可利用输入输出样本对网络进行训练，即对网络的权值和阈值进行学习和调整，使网络实现给定的输入输出映射关系。

其学习过程包括正向传播和反向传播两个过程。

在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。

每一层神经元的状态只影响下一层神经元的状态。

如果输出层不能得到期望的输出，则转人反向传播，将误差信号沿原来的路径返回。

通过修改各层神经元的权值，使误差最小。

在向前传播阶段，通过从样本集中取一个样本（Xp，Yp），将Xp输人网络，并计算相应的实际输出Op。

在此过程中，网络执行下列运算：

Op=Fn（…（F2（F1（XpW

（1））W

（2））…）W（n））（9.4.2）

其中，设网络有咒层，第h（1≤h≤n）层神经元的个数用Lh表示，该层神经元的激活函数用Fh表示，该层的连接矩阵用W（h）表示。

在向后传播阶段，计算实际输出Op。

与相应的理想输出Yp。

的差，按极小化误差的方式调整权矩阵。

网络关于整个样本集的误差测度为

E=ΣEp（9.4.3）

其中，

为网络关于第P个样本的误差测度。

为避免标准BP网络学习算法收敛速度慢、可能收敛到局部极小点的问题，可采用改进的算法，即将附加动量和自适应学习速率的反向传播训练法用于BP算法，其相应连接权的校正如下。

1.2将附加动量反向传播训练法用于BP算法

修正W（k）时，按如下的改进算法：

其中，W（k）既可表示单个的连接权系数，也可表示连接权向量；

为k时刻的负梯度；a为学习速率，a>O；

为动量因子，o≤

<1。

加入动量项可以降低网络对误差曲面局部调节的敏感性，有效地抑制网络陷于局部极小。

1.3将自适应学习速率反向传播训练法用于BP算法

学习速率的自适应是通过观察最后两个梯度的符号来完成的。

只要测得在符号上不改变，就说明口还有增大的余地，因此相应的学习速率就增大一倍，能加快收敛过程；反之，学习速率就减小一半。

自适应学习速率算法如下：

W（k+1）=W（k）+a（k）D（k）（9.4.5）

其中，

当引入动量项时，上述算法可修正为

对于图9.4.4来说，隐含层的输出为

a1=lgsig（w1*p1+b1）（9.4.7）

其中，lgsig（）是Sigmoid型函数的对数式。

输出层的输出为

a2=w2*a1+b2（9.4.8）

根据经验，在一般情况下，当均方根误差降至0．01以下就可以停止训练了，这时称该网络已收敛。

于是各连接的权值就固定下来，并可测试该网络的总体性能，然后投入实际使用：

采用训练好的网络对图像进行分类。

2R&D项目终止决策的人工神经网络模式识别

2.1传统模式识别技术用于R&D项目中止决策分析的局限性

针对模式特征的不同选择及其判别决策方法的不同，可对模

式识别方法作如下分类：

（1）模板匹配法模板匹配法是对每个待识别的类别，给出典型标准模板作为识别标准，它可以是一类模式，也可以是一模式集合。

（2）统计特征法统计特征法埘已知类别的模式样本进行各种特征的提取和分析，选取对分类有利的特征，并对其统计均值等按已知类别进行学习，按贝叶斯最小误差准则，以及以上统计特征设计出一个分类误差最小的决策超平面，识别过程就是对未知模式进行相同的特征提取和分析，通过决策平面方程决定该特征相应的模式所属的类别。

（3）句法结构方法用已知结构信息的模式作为训练样本，先识别出基元和它们之间的连接关系，并用字母符号表示它们，然后用构造句子的方法描述生成场景的过程，并由此推断出生成该场景的一种文法规则，这就是训练过程。

在识别过程中，要对未知结构的模式进行基元识别及其相互结构关系分析，然后利用训练过程中获得的文法对其作句法分析，如果它能被已知结构信息的文法分析出来，则该未知图像模式具有与该文法相同的图形结构，否则就可判定不是这种结构。

（4）逻辑特征方法逻辑特征方法是这样一种方法，其特征的选择对一类模式识别问题来说是独一无二的，即在一类问题中只有一个模式具有某一种（或某一组合的）逻辑特征。

因此，匹配过程也只有“是”或“非”两种结果，即是本类或不是本类。

逻辑特征没有“远”、“近”之分，只有“是”、“非”之别。

（5）模糊模式识别所谓模糊模式识别，是在模式识别过程中引入了模糊集的概念，模糊集的概念可以在模式识别系统的后几个环节的任何地方引人。

若在后两个环节（特征提取和判别决策）的任何一个中引入，则在判断决策时。

所求得的结果就是该模式特征与每一标准类的隶属度，进而可求出隶属度最大的标准类为被识类。

模糊判别决策主要有以下儿种方法：

最大隶属原则法、择近原则法、模糊聚类分析法。

表4—11给出了上述模式识别方法的特性比较。

从对以上模式识别技术的特性分析可以看出，原则上工程上的模式识别方法如统计决策、模糊判决等均可作为中止决策的方法，只要方法推演是科学的，是符合逻辑和客观实际的，均可收到异曲同工之效果。

但由于R&D项目中止决策是内外部环境信息十分复杂、背景知识不十分清楚、推理规则不明确的问题。

特别是由于我国目前的经济体制正处在计划经济向市场经济转变的过渡期，各方面不确定性因素更多，资金紧缺，技术协作不稳定，技术市场不完善，市场需求也由于体制的冲击变得更难预测，故样本有较大的缺损、畸变。

而工程上传统的统计决策、句法结构、模糊判决、逻辑推理等模式识别方法本身虽然有许多优点，如：

（1）统计决策比较成熟，能考虑干扰、噪声等影响，识别模式基元能力强；

（2）句法结构识别方便，可从简单的基元开始，由简到繁，能反映模式的结构特性，能描述模式的性质，对图像畸变的抗干扰能力较强；

（3）模糊判决由于用隶属度函数作为样本与模板问相似程度的度量，故往往能反映它们整体的主要特性，从而允许样本有相当程度的干扰与畸变；

（4）逻辑推理已建立了关于知识表示及组织、目标搜索及匹配的完整体系，对需通过众多规则的推理达到识别目标确认的问题，有很好的效果。

但上述方法在处理R&D项口中止决策的模式识别方面却存在如下缺点：

（1）统计推断对于R&D项日结构复杂的模式抽取困难。

不能反映模式的结构特征，难以描述模式的性质，且难以从整体角度考虑识别问题。

（2）句法结构对于存在干扰及噪声时的R&D项目抽取基元困难，且易失误。

（3）模糊判决对于R&D项目内外部特征准确合理的隶属度函数往往难以建立，故限制了它的应用。

（4）逻辑推理对于R&D项目的样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好。

基于上述考虑，我们探索将人工神经网络用于R&D项目中止决策的模式识别中，建立R&D项目中止决策的人工神经网络模式识别模型。

2.2建立R&D项目中止决策的人工神经网络模式识别模型

在建立R&D项目中止决策的人工神经网络模型时，一个很重要的问题是如何确定神经网络的结构。

减少网络学习的时间，提高网络模式识别分类的精确性。

因此，在实际的研究过程中，需要考虑很多因素，详见表4一12。

（1）网络结构的确定

网络结构包括网络层数、各层节点数。

输入层和输出层的节点数直接由研究的问题便可以得到，为r便于分类识别，这里的输出层根据项目中止的类型多少来确定，输入层则根据所选因素指标的多少来确定。

网络结构中最关键的问题是隐含层的数量及各隐含层中节点的个数。

1989年，RobertHechtNieslen证明了对于任何在闭区问的连续函数都可以用一个隐含层BP网络来逼近，因而一个三层BP网络可以完成任意的N维到M维的映射，其条件是各节点具有不同的阈限值；对于R&D项目中止决策而言，我们经过上机实验，比较了一个隐含层和两个隐含层的收敛速度以及分类精度后，发现在本研究中一个隐含层的网络收敛速度更快，分类识别精度更高，所以最终选择了一个隐含层。

确定隐含层节点数时可考虑这样两条原则：

①隐含层节点数不能是各层中节点数最少的，也不能是最多的；②较好的隐含层节点数是介于输入节点和输出节点之和的50％至75％之间。

故本文所确定的R&D项日中止决策的神经网络结构如图4—1l所示。

（2）转换函数的确定

转换函数的选取取决二f数据本身及网络学习的本身。

1988年，Cybenko指出，当节点均采用S型压缩函数时，一个隐含层足以实现判别分类问题，因此在建立R刚）项目中止决策的人工神经网络分类识别模型时，我们选用Sigmoid函数（图4—12）。

（3）学习算法

本文所用的训练R&D项目中止决策的神经网络模型的算法为改进的误差反向传播（BP）训练算法、算法的学习过程，由正向传播和反向传播组成。

在正向传播过程中，输入信息从输人层经隐单元层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。

如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。

（4）BP算法的问题及改进

尽管BP算法已成功应用于广泛的领域，但它也存在不少问题，比如对～些复杂的问题，它可能需要很长的训练时间，甚至根本不能训练。

过长的训练时间很可能由不适当的步长引起的，完全不能训练则是由两种情况引起的：

一是网络的麻痹现象；二是局部最小。

改进BP算法的框图如图4—14所示

2.3R&D项目中止决策的人工神经网络识别应用示例

本例的样本数据来源于文献。

设项目在某阶段的11个待识别对象的12个指标值数据如表4-13所示，表中指标的含义为：

市场前景（x1）、市场开拓前期投入强度（x2）、已出现相似产品数（x3）、与产业政策的吻合度（x4）、权威部门或人士的支持（x5）、实际投资超预算程度（x6）、本单位财务能力（x7）、技术路线优势（x8）、技术难度系数（x9）、技术协作攻关能力（x10）、可利用的现有研究成果（x11）、项目进展情况总评（x12）。

为了用本文所述的人工神经网络方法对上述11个待识别对象进行中止决策分析，首先我们用文献中通过模糊聚类得到的3个理想标本训练这个神经网络。

其中1个是成功的R&D项目，1个是因措施不当而失败的项目，1个是因不可抗拒的客观原因而失败的项目。

具体作法是对于每个成功R&D标本的12个指标输人值，相应的输出向量都取为（1，0，0），对于每个因措施不当而失败R&D标本的12个指标输入值，其相J、筻的输出向量取为（0，1，0），对于因不叮抗拒的客观原因而失败的每个R&D标本的12个指标输入值，其相应的输出向量取为（0，0，1）。

然后，我们将训练好的人工神经网络用于表4—13中的11个待识别对象进行判别。

判别结果如表4-14所示，其结果与实际情况基本相符。

总之，R&D项目中止决策的人工神经网络方法具有独特的优势。

它与目前国外比较流行的（甚至可以说是占主导地位）的统计推断方法相比，ANN具有几个潜在的优点：

ANN是由众多神经元组成的网络，可以逼近任意复杂的佑线性系统和具有模仿很多种函数的能力，包括非线性函数、分段函数等，并且具有更好的推广能力。

此外，不像统计推断方法那样必须事先构造一个（或一组）描述项目成败与其影响因素之间的函数关系（即选择重要变量和变量的函数形式），ANN能利用所提供的变量的属性内含建立相关的变量及变量的函数关系，而且ANN模型不需要预先假设其样本的参数分布。

因此，在处理环境信息十分复杂、背景知识不十分清楚、推理规则不明确、样本有较大的缺损、畸变的R&D项目中止决策分析等方面，可以认为ANN会有更好的结果。

三神经网络在模式识别领域的未来展望

神经网络已经广泛地应用于图像分割和对象的识别、分类问题中。

随着人工神经网络技术的发展，神经网络模式识别在模式识别领域中起着越来越重要的作用。

在各种人工神经网络模型中，在模式识别中应用最多的也是最成功的是多层前馈网络，其中又以采用BP学习算法的多层感知器（也称BP网络）为代表。

由于网络采用监督学习方式进行训练，因此只能用于监督模式识别问题。

另外一种应用较多的神经网络是白组织神经网络。

这种网络与多层前馈网络不同，它采用非监督学习方式进行神经网络的训练，因此可用于非监督模式识别问题。

神经网络模式识别已成为模式识别的一种主要方法。

神经网络的发展正在走向成熟，它的发展已经到了一个转折点，我们正处在神经网络大规模应用的前夜。

在神经网络的未来发展中，神经网络与其他计算方法及信号处理技术的紧密结合，充分发挥各自所长而成为性能更强的系统将是一个重要方向。

神经网络的各种实现的步伐要比预想的快，并且灵活性、针对性强，易于使用的小规模神经网络软、硬件产品的发展和应用规模也会越来越大。

相对而言，理论和基础研究的发展则比较平稳，需要不断积累以求新的突破。

总之，现代神经网络研究是年轻的科学，是青年人的科学。

它的未来属于那些既真正懂得神经科学，又真正懂得理论与建模的具有新型知识结构的一代青年人。

神经网络模式识别的未来将更具有拟人的特点，更侧重于形象思维。

这种识别在实验和经验的基础上，通过反复学习，建立模式类，并通过综合集合形成总体概念存储起来。

对于新问题，首先用总的概念以相似性方法进行搜索和识别，最后判定新的问题与那一类模式匹配，完成以认识和识别为重点的模式识别。

参考文献

[1]康晓东主编.医学影像图像处理.人民卫生出版社,2009.03.

[2]邓方安，周涛，徐扬编著.软计算方法理论及应用.科学出版社,2008年03月第1版.

[3]齐敏，李大健，郝重阳编著.模式识别导论.清华大学出版社,2009.06.

[4]钟守铭，刘碧森，王晓梅等编著.神经网络稳定性理论.科学出版社,2008.6.

[5]边肇祺．模式识别．北京：

清华大学出版社，1988

[6]王积分，张新荣．计算机图像识别．北京：

中国铁道出版社，1988

[7]汪培庄，李洪兴．模糊系统理论与模糊计算机．北京：

科学出版社，1996

[8]夏良正．数字图像处理．南京：

东南大学出版社，1999

[9]宋余庆．数字医学图像．北京：

清华大学出版社，2003

[10]邹柏贤，林京壤．图像轮廓提取方法研究，计算机工程与应用，2008，44（25）：

161—165

[11]刘丽丽，刘希玉，庄波．基于模拟退火粒子群算法的FCM聚类方法．计算机工程与应用，2008，44（30）：

170·172

[12]杨燕，靳藩，KAMELMohamed．聚类有效性评价综述，计算机应用研究，2008，25（6）：

1630—1632，1638

[13]郭文强，侯勇严编著.数字图像处理.西安电子科技大学出版社,2009.05.

[14]董景荣著.技术创新过程管理——理论、方法及实践.重庆出版社,2000年06月第1版

[15]雅罗斯拉夫斯基．数字图像处理．施有秋，等译．北京：

电子工业出版社，1990

[16]何明一著.神经计算原理·语言·设计·应用.西安电子科技大学出版社,1992年11月第1版.

[17]（美）AbhijitS.Pandya，RobertB.Macy著；徐勇等译,电子工业出版社,1999.

[18]SergiosTheodoridis，KonstantionsKourtroumbas．模式识别．李晶皎，朱志良，王爱侠，等译．北京：

电子工业出版社，2004