人工神经网络复习资料.docx
《人工神经网络复习资料.docx》由会员分享，可在线阅读，更多相关《人工神经网络复习资料.docx（34页珍藏版）》请在冰点文库上搜索。
人工神经网络复习资料
人工神经网络复习资料
第一次课
1.人工神经元模型
2.
3.
ForwardNeuralNetworksModel前向神经网络模型
FeedbackNeuralNetworksModel反馈神经网络模型
NeuralNetworksControlSystem神经网络控制系统
IntegratedNeuralNetworks集成神经网络
4.
5.
6.Whennonode节点outputisaninputtoanodeinthesamelayerorprecedinglayer前层,thenetworkisafeedforwardnetwork（前向网络）.
当输出被引导为输入到相同的或之前的层节点时，网络是反馈网络
反馈网络,封闭的循环称为复发性网络（递归网络）
7.
8.
9.神经网络的用途是1分类2模式识别、特征提取、图像匹配3降噪4预测
4.感知器（前向网络）
5.
感知器是一个具有单层计算神经元的神经网络，并由线性阈值元件组成，是最简单的前向网络。
感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。
它主要用于模式分类，单层的感知器网络结构如下图所示。
5.感知器算法1）随机地给定一组连接权
2）输入一组样本和期望的输出
3）计算感知器实际输出
4）修正权值
5）选取另外一组样本，重复上述2）～4）的过程，直到权值对一切样本均稳定不变为止，学习过程结束。
5.PerceptronLearningRule
该学习算法收敛的充分必要条件是输入样本是线性可分的。
同时的选取也是十分关键的。
学习率选取太小，学习太慢；学习率太大，学习过程可能出现修正过头的情况，从而产生振荡。
5.感知器训练规则及计算方法的掌握
5.感知器网络应用
利用感知器神经网络架构解决一个简单的模式识别问题。
使用感知器神经网络架构来表示和门
1）分类：
训练网络预测心脏病新病人2）逻辑运算：
单层感知器可以表示和，或者，不，等等，但不是XOR3）
6.MATLABfunctionsforperceptronnetworks
5.应用实例:
设计一单层单输出感知器神经网络，进行二值化图像卡片上数字的奇偶分类
5.
第二次课
1．Keywords
biologicalneuron
ArtificialNeuralneuron
outputneurons
interconnectionweighted
biaslevels
activationfunction
feedforwardneuralnetwork
hiddenlayers
outputlayer
input-outputmapping
Associationmemory
PatternRecognition
systemidentification
perceptronmodel
LearningProcesses
learningalgorithm
trainingexamples
inputvector
Targetoutput
desiredresponse
supervisedlearning
UnsupervisedLearning
learningtasks
rateoflearning
生物神经元
人工神经元神经元
输出神经元
互联加权
偏见水平
激活功能
前馈神经网络
隐藏的图层
输出层
输入输出映射
关联记忆
模式识别
系统识别
感知器模型
学习过程
学习算法
训练实例
输入矢量
目标输出
期望的响应
监督学习
无监督学习
学习任务
学习的速度
2.
3.
3.
3.
3.
4．
算法实现步骤：
第一步:
初始化
第二步：
输入一个样本，计算连接权值的调整量
第三步：
调整连接权值
第四步：
计算均方误差
5．
6．线性神经网络的应用
线性神经网络在模式识别、信号滤波和预测、函数近似等方面有广泛的用途,至今仍然广泛应用于各种实际系统中,特别是在自适应滤波方面,用途更为广泛。
1以自适应线性网络实现噪声对消2胎儿心率的检测3电话中的回音对消
第三次课
1．
BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的感知器模型有不同外，其主要差别也表现在激活函数上。
感知器是二值型的函数。
BP网络的激活函数必须是处处可微的，所以它就不能采用二值型的阀值函数{0，1}或符号函数{-1，1}，BP网络经常使用的是S型的对数或正切激活函数和线性函数。
用了“BP算法”进行训练的“多层感知器模型
3.
3.
3.
3.
2.BP网络主要用于
（1）Functionsapproximation：
BPcanbeappliedtolearnnon-linearfunctions
（2）patternrecognition模式识别
3.
第四次课
1.
2.
径向基函数（RBF-RadialBasisFunction）神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。
3.
3.
3.
5.
6.
7.LearningAlgorithm
如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题
8.学习算法需要求解的参数
1）径向基函数的中心2）方差3）隐含层到输出层的权值
学习方法分类（按RBF中心选取方法的不同分）
1）随机选取中心法2）自组织选取中心法3）有监督选取中心法4）正交最小二乘法等.
自组织选取中心法:
第一步，自组织学习阶段无导师学习过程，求解隐含层基函数的中心与方差；第二步，有导师学习阶段求解隐含层到输出层之间的权值。
9.
无导师学习阶段，对所有样本的输入进行聚类，求得各隐层节点的RBF的中心ci。
如用k均值聚类算法，调整中心，算法步骤为：
（1）给定各隐节点的初始中心；
（2）计算距离（欧氏距离）并求出最小距离的节点
（3）调整中心（4）计算节点的距离
（5）重新调整聚类中心（6）.求解方差
有导师学习阶段:
计算隐含层和输出层之间的权值
10,。
ApplicationsofRBFnetwork
FunctionApproximation:
Classification
Patternrecognition,informationprocess,imageprocess
systemmodeling
Failurediagnosis
RBF神经网络结构简单、训练简洁且学习收敛速度快，因此被广泛引用于时间序列分析、模式识别、非线性控制和图像处理等领域。
11.
12.
13.
（1）从网络结构上看。
BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。
BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。
BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了.
（2）从训练算法上看。
BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。
但BP算法易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。
总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。
RBF神经网络的优良特性使得其显示出比BP神经网络更强的生命力，正在越来越多的领域内替代BP神经网络。
目前，RBF神经网络已经成功地用于非线性函数、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等.
第六次课
1.
2.竞争学习的概念与原理
竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。
1）模式、分类、聚类与相似性
模式：
一般当网络涉及识别、分类问题时，常用输入模式（而不称输入样本）；
分类：
将待识别的输入模式划分为各自的模式类中去；聚类：
无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类；相似性：
输入模式的聚类依据。
2）相似性测量
神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个向量的距离，因而可用模式向量间的距离作为聚类判据。
模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。
3.自组织竞争网络机理：
采用无教师学习方式，无须期望输出，只是根据数据样本进行学习，并调整自身的权重以达到学习目的。
自组织神经网络的学习规则大都采用竞争型的学习规则。
竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机会，最后仅有一个神经元成为胜利者，并将与获胜神经元有关的各连接权值向着更有利于其竞争的方向调整。
用途：
模式分类和模式识别。
4.竞争学习规则——Winner-Take-All
网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。
这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为WinnerTakeAll。
5.竞争学习规则——Winner-Take-All
1）向量归一化2）寻找获胜神经元3）网络输出与权值调整
6.SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。
输出层模拟做出响应的大脑皮层。
输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。
7.
8.SOM网的学习算法
（1）初始化
（2）接受输入（3）寻找获胜节点（4）定义优胜邻域（5）调整权值（6）检查总模式数是否全部参与了学习（7）更新邻域Nj*（t）及学习率η（t）（8）结束检查学习率是否衰减到零或某个预定的正小数.
9.SOM设计
输出层设计
输出层神经元数量设定和训练集样本的类别数相关，但是实际中我们往往不能清除地知道有多少类。
如果神经元节点数少于类别数，则不足以区分全部模式，训练的结果势必将相近的模式类合并为一类；相反，如果神经元节点数多于类别数，则有可能分的过细，或者是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过更新。
不过一般来说，如果对类别数没有确定知识，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。
“死节点”问题一般可通过重新初始化权值得到解决。
输出层节点排列的设计
输出层的节点排列成哪种形式取决于实际应用的需要，排列形式应尽量直观反映出实际问题的物理意义
10．权值初始化问题
基本原则是尽量使权值的初始位置与输入样本的大概分布区域充分重合。
一种简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值
优胜邻域的设计
优胜领域设计原则是使领域不断缩小，领域的形状可以是正方形、六边形或者菱形。
优势领域的大小用领域的半径表示，设计目前没有一般化的数学方法，通常凭借经验来选择。
学习率的设计
在训练开始时，学习率可以选取较大的值，之后以较快的速度下降，这样有利于很快捕捉到输入向量的大致结构，然后学习率在较小的值上缓降至0值，这样可以精细地调整权值使之符合输入空间的样本分布结构。
学习率就是一个递减的函数，而优胜邻域也是t的递减函数
11.学习向量量化LVQ神经网络
学习向量量化（LearnigVectorQuantization，LVQ）网络：
（1）在竞争网络结构基础上提出的；
（2）将竞争学习思想与有监督学习算法结合在一起；
（3）在网络学习过程中，通过教师信号对输入样本的分配类别进行规定；
（4）克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。
12.LVQ自适应解决模式分类问题的步骤：
第一步：
自组织映射——起聚类的作用，但不能直接分类或识别；
第二步：
学习向量量化——采用有监督方法，在训练中加入教师信号作为分类信息对权值进行细调，并对输出神经元预先指定其类型。
13.LVQ网络结构与工作原理
14.LVQ网络结构
学习向量量化神经网络，属于前向有监督神经网络类型，由芬兰学者TeuvoKohonen提出
组成：
输入层神经元、竞争层神经元和输出层神经元
输入层：
有n个神经元接受输入向量，与竞争层之间完全连接；
竞争层：
有m个神经元，分为若干组并呈一维线阵排列
输出层：
每个神经元只与竞争层中的一组神经元连接，连接权值固定为1.
15.LVQ网络工作原理
（1）在LVQ网络的训练过程中，输入层和竞争层之间的连接权值被修改，被逐渐调整为聚类中心。
（2）当一个输入样本被送到LVQ网时，竞争层的神经元通过胜者为王竞争学习规则产生获胜神经元，容许其输出为1，而其他神经元输出为0.
（3）与获胜神经元所在组相连接的输出神经元，其输出也为1，其他的输出为0，从而给出当前输入样本的模式类
子类：
竞争层学习得到的类
目标类：
输出层学习得到的类
16.LVQ神经网络的学习算法
LVQ算法具体步骤如下：
（1）网络初始化
用较小的随机数设定输人层和隐含层之间的权值初始值。
（2）输入向量的输入
将输人向量送入到输入层。
（3）计算隐含层权值向量与输入向量的距离
隐含层神经元和输入向量的距离，与自组织化映射的情况相同
（4）选择与权值向量的距离最小的神经元
（5）更新连接权值
（6）判断是否满足预先设定的最大迭代次数，满足时算法结束，否则返回2，进入下一轮学习。
17.Newlvq函数功能：
该函数用于创建一个学习向量量化的LVQ网络。
18.Elman神经网络
它是一种典型的局部回归网络。
Elman网络可以看作是一个具有局部记忆单元和局部反馈连接的前向神经网络。
19.
20.
21.应用函数newelm（）可以构建两层或者多层Elman网络，隐含层函数通常应用tansig传递函数，输出层通常是purelin传递函数。
22.Hopfield神经网络模型
Hopfield网络是一种由非线性元件构成的反馈系统，其稳定状态的分析比前向神经网络要复杂得多。
1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了旅行商（TSP）计算难题（优化问题）。
Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN（DiscreteHopfieldNeuralNetwork）和CHNN（ContinuesHopfieldNeuralNetwork）。
Hopfield网络是单层对称全反馈网络
23.研究表明，由简单非线性神经元互连而成的反馈动力学神经网络系统具有两个重要特征：
1.系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态；
2.系统的稳定状态可以通过改变各个神经元间的连接权值而得到。
Hopfield神经网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。
24.Hopfield网络的特点
灌输式学习方式
灌输式学习中网络权值不是通过训练逐渐形成的，而是通过某种设计方法得到的。
权值一旦设计好就一次灌输给网络，不再变动，
这种学习是死记硬背式的，而不是训练式的。
Hopfield网络属于无监督学习神经元网络
Hopfield网络是一类反馈动力学系统，稳定性是这类系统的重要特性。
25.Hopfield网络的应用
组合优化（TSP问题）
组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。
将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。
这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。
26.newhop（）生成一个Hopfield回归网络
第七次课
1.传统神经网络有三个主要限制：
一是在面对大数据时，需要人为提取原始数据的特征作为输入，会把蹲在屋顶的Kitty和骑在猫奴头上的Kitty识别为不同的猫咪，又会把二哈和狼归类为同一种动物。
二是想要更精确的近似复杂的函数，必须增加隐藏层的层数，这就产生了梯度扩散问题。
所谓“强弩之末势不能穿鲁缟“。
三是无法处理时间序列数据（比如音频），随着人工智能需求的提升，我们想要做复杂的图像识别，做自然语言处理，做语义分析翻译，等等。
传统神经网络显然力不从心。
深度模型可以解决以上三个问题：
第一，深度学习自动选择原始数据的特征。
举一个图像的例子，将像素值矩阵输入深度网络（这里指常用于图像识别的卷积神经网络CNN），网络第一层表征物体的位置、边缘、亮度等初级视觉信息。
第二层将边缘整合表征物体的轮廓……之后的层会表征更加抽象的信息，如猫或狗这样的抽象概念。
第二，深度网络的学习算法。
一种方法是改变网络的组织结构，比如用卷积神经网络代替全连接（fullconnectivity）网络，训练算法仍依据Backpropagatinggradients的基本原理。
另一种则是彻底改变训练算法
第三，使用带反馈和时间参数的Recurrentneuralnetwork处理时间序列数据。
从某种意义上讲，Recurrentneuralnetwork可以在时间维度上展开成深度网络，可以有效处理音频信息（语音识别和自然语言处理等），或者用来模拟动力系统。
2.深度学习是机器学习的一个类型，该类型的模型直接从图像、文本或声音中学习执行分类任务。
通常使用神经网络架构实现深度学习。
“深度”一词是指网络中的层数—层数越多，网络越深。
传统的神经网络只包含2层或3层，而深度网络可能有几百层。
3.卷积神经网络是深度神经网络和核卷积（kernelconvolution）的结合
4.做传统的神经网络（非深度学习）的话，如果只是做做仿真，建议用MATLAB。
做深度学习的话，建议使用Python。
Python有一个Theano库可以利用GPU进行矩阵运算和符号求导，在此基础上有PDNN等专门训练神经网络的工具包。
python也有大量模块代码，包含大量自设计的模型，python语言自身的灵活性给自行设计模型提供了极大的方便，这一点matlab能做到，但是很费事。
而且做工程，多人协作等，python比matlab有更多优势。
5.神经网络的控制系统模块库中包含三个控制器和一个示波器。
这三种神经网络结构分别是：
神经网络模型预测控制（NNPredictiveController）系统模型用于预测系统未来的行为，并且找到最优的算法，用于选择控制输入，以优化未来的性能。
反馈线性化控制（NARMA-L2Controller）控制器仅仅是将系统模型进行重整。
模型参考控制（ModelReferenceController）控制器是一个神经网络，它被训练以用于控制系统，使得系统跟踪一个参考模型，这个神经网络系统模型在控制器训练中起辅助作用。
6.人工神经网络类型可分为：
感知器，BP，RBF,竞争型，SOM，LVQ,Elman,hopfield
1）按结构分：
前向网络：
感知器（两层，输入输出层），BP（多层，BP网络具有输入层、隐藏层和输出层），RBF（单隐层的三层前馈网络）,竞争型（两层，输入层和竞争层），SOM（两层，输入层和竞争层或叫输出层），LVQ（三层，输入层，竞争层，输出层）
反馈：
Elman（四层，输入，隐含，承接，输出）,hopfield（单层对称全反馈网络）
递归;
2）根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习（按算法分类）：
有监督：
感知器，BP，RBF，ELman，LVQ
无监督:
竞争型，SOM，hopfield
升级会员 