人工神经网络复习资料.docx

1、人工神经网络复习资料人工神经网络复习资料第一次课1.人工神经元模型2.3.Forward Neural Networks Model前向神经网络模型Feedback Neural Networks Model反馈神经网络模型Neural Networks Control System神经网络控制系统Integrated Neural Networks集成神经网络4.5.6.When no node节点output is an input to a node in the same layer or preceding layer前层, the network is a feedforward

2、network(前向网络).当输出被引导为输入到相同的或之前的层节点时，网络是反馈网络反馈网络,封闭的循环称为复发性网络(递归网络)7.8.9.神经网络的用途是1分类2模式识别、特征提取、图像匹配3降噪4预测4.感知器（前向网络）5.感知器是一个具有单层计算神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型， Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。它主要用于模式分类，单层的感知器网络结构如下图所示。5.感知器

3、算法1）随机地给定一组连接权2）输入一组样本和期望的输出3）计算感知器实际输出4）修正权值5）选取另外一组样本，重复上述2）4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。5. Perceptron Learning Rule该学习算法收敛的充分必要条件是输入样本是线性可分的。同时的选取也是十分关键的。学习率选取太小，学习太慢；学习率太大，学习过程可能出现修正过头的情况，从而产生振荡。5.感知器训练规则及计算方法的掌握5.感知器网络应用利用感知器神经网络架构解决一个简单的模式识别问题。使用感知器神经网络架构来表示和门1）分类：训练网络预测心脏病新病人2）逻辑运算：单层感知器可以表示

4、和，或者，不，等等，但不是XOR3）6. MATLAB functions for perceptron networks5.应用实例:设计一单层单输出感知器神经网络，进行二值化图像卡片上数字的奇偶分类5.第二次课1Key wordsbiological neuronArtificial Neural neuronoutput neuronsinterconnection weightedbias levelsactivation functionfeedforward neural networkhidden layersoutput layerinput-output mappingAss

5、ociation memoryPattern Recognitionsystem identificationperceptron modelLearning Processes learning algorithmtraining examplesinput vectorTarget outputdesired responsesupervised learningUnsupervised Learninglearning tasksrate of learning生物神经元人工神经元神经元输出神经元互联加权偏见水平激活功能前馈神经网络隐藏的图层输出层输入输出映射关联记忆模式识别系统识别感知

6、器模型学习过程学习算法训练实例输入矢量目标输出期望的响应监督学习无监督学习学习任务学习的速度2.3.3.3.3.4算法实现步骤：第一步:初始化第二步：输入一个样本，计算连接权值的调整量第三步：调整连接权值第四步：计算均方误差56线性神经网络的应用线性神经网络在模式识别、信号滤波和预测、函数近似等方面有广泛的用途,至今仍然广泛应用于各种实际系统中,特别是在自适应滤波方面,用途更为广泛。1以自适应线性网络实现噪声对消2胎儿心率的检测3电话中的回音对消第三次课1BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的感知器模型有不同外，其主要差别也表现在激活函数上。感知器是二值型的函数。 BP

7、网络的激活函数必须是处处可微的，所以它就不能采用二值型的阀值函数0，1或符号函数-1，1，BP网络经常使用的是S型的对数或正切激活函数和线性函数。用了“BP算法”进行训练的“多层感知器模型3.3.3.3.2.BP网络主要用于（1）Functions approximation：BP can be applied to learn non-linear functions（2）pattern recognition模式识别3.第四次课1.2.径向基函数(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的

8、三层前馈网络。3.3.3.5.6.7.Learning Algorithm如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题8.学习算法需要求解的参数1)径向基函数的中心2)方差3)隐含层到输出层的权值学习方法分类（按RBF中心选取方法的不同分）1)随机选取中心法2)自组织选取中心法3)有监督选取中心法4)正交最小二乘法等.自组织选取中心法:第一步，自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差；第二步，有导师学习阶段求解隐含层到输出层之间的权值。9.无导师学习阶段，对所有样本的输入进行聚类，求得各隐层节点的RBF的中心ci。如用k均值聚类算法，调整中心，算法步骤为：（1

9、）给定各隐节点的初始中心；（2）计算距离（欧氏距离）并求出最小距离的节点（3）调整中心（4）计算节点的距离（5）重新调整聚类中心(6).求解方差有导师学习阶段:计算隐含层和输出层之间的权值10,。Applications of RBF networkFunction Approximation:ClassificationPattern recognition, information process, image processsystem modelingFailure diagnosisRBF 神经网络结构简单、训练简洁且学习收敛速度快，因此被广泛引用于时间序列分析、模式识别、非线性控制

10、和图像处理等领域。11.12.13.（1）从网络结构上看。 BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了.（2）从训练算

11、法上看。 BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。但BP算法易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBF神经网络的优良特性使得其显示出比BP神经网络更强的生命力，正在越来越多的领域内替代BP神经网络。目前，RBF神经网络已经成功地用于非线

12、性函数、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等.第六次课1.2.竞争学习的概念与原理竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。1 ）模式、分类、聚类与相似性模式：一般当网络涉及识别、分类问题时，常用输入模式（而不称输入样本）；分类：将待识别的输入模式划分为各自的模式类中去；聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类；相似性：输入模式的聚类依据。2）相似性测量神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式向量间的距离作为聚类判据。模式识别中常用到的两种

13、聚类判据是欧式最小距离法和余弦法。3.自组织竞争网络机理：采用无教师学习方式，无须期望输出，只是根据数据样本进行学习，并调整自身的权重以达到学习目的。自组织神经网络的学习规则大都采用竞争型的学习规则。竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机会，最后仅有一个神经元成为胜利者，并将与获胜神经元有关的各连接权值向着更有利于其竞争的方向调整。用途：模式分类和模式识别。4.竞争学习规则Winner-Take-All网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Wi

14、nner Take All。5.竞争学习规则Winner-Take-All1）向量归一化 2）寻找获胜神经元3)网络输出与权值调整6. SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。7.8. SOM网的学习算法（1）初始化（2）接受输入（3）寻找获胜节点（4）定义优胜邻域(5)调整权值（6）检查总模式数是否全部参与了学习（7）更新邻域Nj*(t)及学习率(t) (8)结束检查学习率是否衰减到零或某个预定的正小数.9. SOM设计输出层设计输出层神经元数量设定和训练集样本的类别数相关，但是实际中

15、我们往往不能清除地知道有多少类。如果神经元节点数少于类别数，则不足以区分全部模式，训练的结果势必将相近的模式类合并为一类；相反，如果神经元节点数多于类别数，则有可能分的过细，或者是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过更新。不过一般来说，如果对类别数没有确定知识，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。“死节点”问题一般可通过重新初始化权值得到解决。输出层节点排列的设计输出层的节点排列成哪种形式取决于实际应用的需要，排列形式应尽量直观反映出实际问题的物理意义10权值初始化问题基本原则是尽量使权

16、值的初始位置与输入样本的大概分布区域充分重合。一种简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值优胜邻域的设计优胜领域设计原则是使领域不断缩小，领域的形状可以是正方形、六边形或者菱形。优势领域的大小用领域的半径表示，设计目前没有一般化的数学方法，通常凭借经验来选择。学习率的设计在训练开始时，学习率可以选取较大的值，之后以较快的速度下降，这样有利于很快捕捉到输入向量的大致结构，然后学习率在较小的值上缓降至0值，这样可以精细地调整权值使之符合输入空间的样本分布结构。学习率就是一个递减的函数，而优胜邻域也是t的递减函数11.学习向量量化LVQ神经网络学习向量量化（Learnig Vect

17、or Quantization，LVQ）网络：（1）在竞争网络结构基础上提出的；（2）将竞争学习思想与有监督学习算法结合在一起；（3）在网络学习过程中，通过教师信号对输入样本的分配类别进行规定；（4）克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。12. LVQ自适应解决模式分类问题的步骤：第一步：自组织映射起聚类的作用，但不能直接分类或识别；第二步：学习向量量化采用有监督方法，在训练中加入教师信号作为分类信息对权值进行细调，并对输出神经元预先指定其类型。13. LVQ网络结构与工作原理14. LVQ网络结构学习向量量化神经网络，属于前向有监督神经网络类型，由芬兰学者Teuvo K

18、ohonen提出组成：输入层神经元、竞争层神经元和输出层神经元输入层：有n个神经元接受输入向量，与竞争层之间完全连接；竞争层：有m个神经元，分为若干组并呈一维线阵排列输出层：每个神经元只与竞争层中的一组神经元连接，连接权值固定为1.15. LVQ网络工作原理(1)在LVQ网络的训练过程中，输入层和竞争层之间的连接权值被修改，被逐渐调整为聚类中心。(2)当一个输入样本被送到LVQ网时，竞争层的神经元通过胜者为王竞争学习规则产生获胜神经元，容许其输出为1，而其他神经元输出为0.(3)与获胜神经元所在组相连接的输出神经元，其输出也为1，其他的输出为0，从而给出当前输入样本的模式类子类：竞争层学习得到

19、的类目标类：输出层学习得到的类16. LVQ神经网络的学习算法LVQ算法具体步骤如下：（1）网络初始化用较小的随机数设定输人层和隐含层之间的权值初始值。（2）输入向量的输入将输人向量送入到输入层。（3）计算隐含层权值向量与输入向量的距离隐含层神经元和输入向量的距离，与自组织化映射的情况相同（4）选择与权值向量的距离最小的神经元（5）更新连接权值（6）判断是否满足预先设定的最大迭代次数，满足时算法结束，否则返回2，进入下一轮学习。17.Newlvq函数功能：该函数用于创建一个学习向量量化的LVQ网络。18. Elman神经网络它是一种典型的局部回归网络。Elman网络可以看作是一个具有局部记忆单

20、元和局部反馈连接的前向神经网络。19.20.21.应用函数newelm()可以构建两层或者多层Elman网络，隐含层函数通常应用tansig传递函数，输出层通常是purelin传递函数。22.Hopfield神经网络模型Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商(TSP)计算难题(优化问题)。Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues H

21、opfield Neural Network) 。Hopfield网络是单层对称全反馈网络23.研究表明，由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征：1. 系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态；2. 系统的稳定状态可以通过改变各个神经元间的连接权值而得到。 Hopfield神经网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。24. Hopfield网络的特点灌输式学习方式灌输式学习中网络权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。权值一旦设计好就一次灌输给网络，不再变动，这种学习是死记硬背式的，

22、而不是训练式的。Hopfield网络属于无监督学习神经元网络Hopfield网络是一类反馈动力学系统，稳定性是这类系统的重要特性。25. Hopfield网络的应用组合优化 (TSP问题)组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。26. newhop（）生成一个Hopfield回归网络第七次课1.传统神经网络有三个主要限制：一是在面对大数据时，需要人为提取原始数据的特征作为输入，会把蹲在

23、屋顶的Kitty和骑在猫奴头上的Kitty识别为不同的猫咪，又会把二哈和狼归类为同一种动物。二是想要更精确的近似复杂的函数，必须增加隐藏层的层数，这就产生了梯度扩散问题。所谓“强弩之末势不能穿鲁缟“。三是无法处理时间序列数据（比如音频），随着人工智能需求的提升，我们想要做复杂的图像识别，做自然语言处理，做语义分析翻译，等等。传统神经网络显然力不从心。深度模型可以解决以上三个问题：第一，深度学习自动选择原始数据的特征。举一个图像的例子，将像素值矩阵输入深度网络（这里指常用于图像识别的卷积神经网络CNN），网络第一层表征物体的位置、边缘、亮度等初级视觉信息。第二层将边缘整合表征物体的轮廓之后的层会

24、表征更加抽象的信息，如猫或狗这样的抽象概念。第二，深度网络的学习算法。一种方法是改变网络的组织结构，比如用卷积神经网络代替全连接（full connectivity）网络，训练算法仍依据Backpropagating gradients的基本原理。另一种则是彻底改变训练算法第三，使用带反馈和时间参数的Recurrent neural network 处理时间序列数据。从某种意义上讲，Recurrent neural network可以在时间维度上展开成深度网络，可以有效处理音频信息（语音识别和自然语言处理等），或者用来模拟动力系统。2.深度学习是机器学习的一个类型，该类型的模型直接从图像、文本

25、或声音中学习执行分类任务。通常使用神经网络架构实现深度学习。“深度”一词是指网络中的层数层数越多，网络越深。传统的神经网络只包含 2 层或 3 层，而深度网络可能有几百层。3.卷积神经网络是深度神经网络和核卷积(kernel convolution)的结合4.做传统的神经网络（非深度学习）的话，如果只是做做仿真，建议用MATLAB。做深度学习的话，建议使用Python。Python有一个Theano库可以利用GPU进行矩阵运算和符号求导，在此基础上有PDNN等专门训练神经网络的工具包。python也有大量模块代码，包含大量自设计的模型，python语言自身的灵活性给自行设计模型提供了极大的方便

26、，这一点matlab能做到，但是很费事。而且做工程，多人协作等，python比matlab有更多优势。5.神经网络的控制系统模块库中包含三个控制器和一个示波器。这三种神经网络结构分别是：神经网络模型预测控制(NN Predictive Controller)系统模型用于预测系统未来的行为，并且找到最优的算法，用于选择控制输入，以优化未来的性能。反馈线性化控制(NARMA-L2 Controller)控制器仅仅是将系统模型进行重整。模型参考控制(Model Reference Controller) 控制器是一个神经网络，它被训练以用于控制系统，使得系统跟踪一个参考模型，这个神经网络系统模型在控

27、制器训练中起辅助作用。6.人工神经网络类型可分为：感知器，BP，RBF,竞争型，SOM，LVQ,Elman,hopfield1)按结构分：前向网络：感知器（两层，输入输出层），BP（多层，BP网络具有输入层、隐藏层和输出层），RBF（单隐层的三层前馈网络）,竞争型（两层，输入层和竞争层），SOM（两层，输入层和竞争层或叫输出层），LVQ（三层，输入层，竞争层，输出层）反馈：Elman（四层，输入，隐含，承接，输出）,hopfield（单层对称全反馈网络）递归;2)根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习(按算法分类)：有监督：感知器，BP，RBF，ELman，LVQ无监督:竞争型，SOM，hopfield