基于人工神经网络的深度学习算法综述.docx

基于人工神经网络的深度学习算法综述.docx

《基于人工神经网络的深度学习算法综述.docx》由会员分享，可在线阅读，更多相关《基于人工神经网络的深度学习算法综述.docx（5页珍藏版）》请在冰点文库上搜索。

基于人工神经网络的深度学习算法综述

作者：

刘俊一

来源：

《中国新通信》2018年第6期

【摘要】众所周知，深度学习是人工智能领域研究的核心问题。

本文首先介绍了人工神经网络和深度学习的背景与研究现状。

其次对深度学习经典算法进行了理论上的简单介绍，并提出了一些自己的看法。

最后对深度学习的发展趋势进行了展望。

【关键词】神经网络机器学习深度学习算法

一、背景介绍

1.1什么是人工神经网络

人工神经网络（ANN），是从上个世纪80年代兴起的人工智能领域研究热点。

它是人脑神经元网络在信息处理角度的抽象，按不同的连接方式组成不同的网络并建立相关的简单模型。

ANN本质上是一种运算模型，由大量的神经元节点相互连接构成。

每个节点可以当做是一个神经元，节点中包含激励函数，根据其输入判断其输出。

相邻层的节点之间两两相连，其关系称之为权重，相当于人体大脑的记忆过程。

网络的输出即为运算结果，可能是回归结果也可能是分类结果（概率值）。

总体而言，人工神经网络通常是对某种算法或者函数的逼近，也可以是对某种逻辑策略的表达。

1.2人工神经网络背景介绍

1、启蒙时期。

美国著名心理学家W.James于1890年开启关于人脑结构与功能的研究，结束于1969年《感知器》一书的发表，其作者为著名学者Minsky和Papert。

2、低潮时期。

开始于1969年，著名学者Minsky发表文章指出单层系统的局限性，而且并不看好多层系统，于是不可避免的在上世纪70年代对ANN的研究开始减少，转而继续研究逻辑系统与符号网络。

这一情况直到1982年因为学者Hopfield发表的《神经网络和物理系统》才好转。

3、复兴时期。

开始于《神经网络和物理系统》的发表，由Hopfield于1982年发表，结束于80年代末。

4、第一次浪潮。

开始于上世纪80年代末，因为“深度学习之父”Hinton提出的BP反向传播算法解决了浅层网络的参数更新问题，由此开始，进入了机器学习研究的春天。

5、第二次浪潮。

依旧由Hinton引领，其于2006年在《Science》杂志上发表了《DeepLearning》一文，由此，进入深度学习研究的春天。

1.3什么是深度学习

深度学习本质上是一种新兴的机器学习算法，其基本模型框架是基于ANN的，如含有多隐层的感知器。

其可以通过对数据的底层特征进行学习从而得到更加抽象的隐藏特征，从而特到数据的分布式规律，进而预测或分类数据。

深度学习是一种学习数据表征的算法，它可以从无规律、抽象的观测值即输入值中学习到数据的隐藏特征，比如CNN算法通过输入的图片像素点RGB值可以学习到图片的内部特征，例如图片中的实体、数字等。

深度学习的好处是其用高效的特征提取算法替代了原始的手工获取特征的手段。

1.4深度学习背景介绍

深度学习概念由Hinton于2006年在《Science》上发表的论文《DeepLearning》提出。

在本文中，他提到：

1、在ANN中，感知器的隐层数量越多，对于数据隐藏特征的学习能力就越强，而且学习到的特征会更好的帮助我们理解数据，从而能够更好的对数据进行可视化或分类；2、由于ANN层数越多，参数就会以几何倍数的增加，因此ANN的层数会加大我们对整个网络的训练效率，由此Hinton提出了基于无监督学习的“逐层初始化”来有效克服该难题。

在深度学习领域中，最先出现的算法是Hinton提出的限制玻尔兹曼机（RBM）以及基于此提出的深度置信网络（DBN），这两种算法为解决复杂的优化难题提供了思路，为解决多层复杂网络带来了希望。

之后提出的自动编码器算法也风靡一时。

此外Hinton的得意弟子Lecun等人提出的卷积神经网络（CNN）真正将深度学习研究领上了高潮，其本质上是用来解决图片或视频中的实体识别等难题的，它利用图片2维或3维空间特性有效的减少了网络的训练参数。

二、国内外研究现状

2.1人工神经网络现状

通过查阅相关文献可知现阶段对于ANN的研究大致上分为理论和应用两方面。

ANN理论研究：

1、生物神经学比如认知神经学在人类及动物认知、推理方面的研究；2、基于生物神经学的相关知识，利用数理研究方法、统计学习方法，探索并构建更加合理有效、性能更加优越的ANN模型以及相关的算法，使其在收敛性、稳定性、鲁棒性、容错性等方面有所提高。

ANN应用研究：

1、基于ANN的软件模型的仿真，基于ANN的硬件系统的构架等；2、目前，ANN的主要应用研究领域包括：

知识工程、模式识别、优化组合、机器人控制、信号处理、专家系统等。

我们有理由相信，随着数理统计理论与神经网络相关理论的不断发展和提出、相关关键性技术的不断创新和突破，基于ANN的应用必将深入到社会的方方面面。

2.2深度学习研究现状

近日关于深度学习的研究中，Hinton与MicroSoft合作，尝试将RBM和DBN算法用到语音识别中，并取得了突破性的进展，其合作完成的语音识别系统将识别准确率提高了30%。

但目前为止，基于CPU的DNN并行算法研究陷入了瓶颈之中，研究机构和互联网公司比如Google和Facebook都在使用GPU平台提高DNN模型的训练速度。

在国外，IBM、Google、Facebook等计算机巨头或互联网巨头都在全力发展深度学习或人工智能，特别是语音识别领域的DNN算法研究，进展喜人。

在国内，百度、阿里巴巴、腾讯等互联网公司以及中科院自动化所等研究机构也紧跟世界人工智能研究的步伐，在人工智能以及深度学习领域大力投资，比如近日阿里巴巴斥巨资建设的达摩院。

三、深度学习经典算法

3.1限制波尔兹曼机（RBM）

我们假设存在二部图（也称为二分图），在图结构每层中每一个节点都是相互独立的，第一层是输入层，即数据可视层（v），第二层是隐藏层（h），这里我们不妨令图中所有节点的值均满足0-1分布，即不是0就是1，全概率分布p（v,h）也是满足Boltzmann分布的，若假设均成立，则将此图结构称为限制玻尔兹曼机（RestrictedBoltzmannMachine）。

由于该算法结构是一个二分图，因此当数据可视层v是已知量时，隐藏层h中的节点是相互独立的，因此v与h（hi为h层中的节点）之间满足条件概率分布：

p（h|v）=p（h1|v）…p（hn|v）。

同理，当隐藏层h是已知量时，数据可视层v中的节点是相互独立的。

上文提到全概率分布p（v,h）是满足Boltzmann分布的，因此根据已知的数据层v，通过条件概率公式p（h|v）就能得到隐藏层h，之后根据条件概率公式p（v|h）能反推得到可视层v，通过不断调参后若最终得到的可视层v1与已知v相同或误差在可以接受的范围内的话，则隐藏层h可看做是输入层v的另一种表达或者说是输入数据的隐藏特征，因此RBM是一种DeepLearning方法。

3.2深度置信网络（DBN）

深度置信网络（DeepBeliefNetworks）是一个概率生成模型，即该网络的输出是置信度（即概率）。

传统的DBNs是由多个RBM组成，其典型结构如图1所示，这是由Hinton于2006年提出的。

与RBM一样，DBNs是由可视层与隐藏层组成的，层间存在权值连接，层中节点则相互独立。

图1DBNs易于拓展，这是由其灵活性决定的。

卷积DBNs（ConvolutionalDeepBeliefNetworks）是其中一个重要的拓展。

传统的DBNs不会去关注图像的2维空间信息，这是由于整个网络的输入是一维向量化的像素点信息。

和DBNs不同，CDBNs关注了图像的二维信息，该算法充分利用了相邻像素点之间的空间关系，通过卷积RBMs模型可以是整个结构具有高度的平移不变性，而且能相对容易的得到高维图像。

DBNs算法中没有提到关于处理有关于时间序列的问题，但是由于DBNs算法的优越性，目前已经有相关的研究成果了，如堆叠时间RBMs，后来以此为基础提出了DubbedTemporalConvolutionMachines算法，这些基于DBNs的关于时间序列的算法研究给语音识别领域指引了一个全新的研究路线。

3.3卷积神经网络（CNN）

卷积神经网络（ConvolutionalNeuralNetworks）的神经网络结构是多层的，一般包括卷积层、池化层以及最后的全连接层，每一层的神经元节点又是相互独立的。

CNN之所以能够为大众所接受，是因为其算法中的局部感知和参数共享概念大大减少了整个网络体系中的参数数量，进而使得整个训练过程更加高效。

CNN本质上是一种二维图像处理算法，由于池化层的存在，使得该结构对于图像的比例缩放、平移、倾斜等变形具有高度不变性，即不管原图片如何变形，最后的输出不会变。

Lecun等人最初提出CNN神经网络结构是为了将图片的处理过程尽可能的简化。

在CNN中，图像的像素点信息作为最初的输入，而第一个隐层即卷积层的输入为局部的感知野，并且所有的感知野共享相同的参数信息，输出相应的特征信息，一般在若干个卷积层之后有一个池化层，其作用为提取卷积层输出中的最明显特征，也能进一步减少参数数量，最后的全连接层相当于是卷积核为1的卷积层，起作用为对特征进行分类。

四、结论与展望

深度学习下一步的理论发展重点在强化学习、迁移学习以及非监督学习层面，近几年提出的对抗神经网络（GAN）也会是一个好的研究目标，而最近Hinton提出的Capsule计划也必将引领深度学习与神经网络结构的又一波研究热潮。

在应用发展领域，智能机器人会是深度学习领域的重要实际应用，日前Google收购了BostonDynamic公司，其现在拥有最强悍的机器人身体与最智能的机器人大脑，让我们期待在不久的将来Google能有真正的人工智能面世。

尽管目前人工智能领域特别是深度学习方面存在着巨大的缺陷，但是我们有理由相信，在全世界相关学者的共同努力下，人工智能领域特别是深度学习方向将会不断突破技术壁垒，并能够逐渐应用到现实社会中的方方面面中，给我们的生活带来革命性的变化。

参考文献

[1]李航.统计学习方法[M].清华大学出版社,2012.

[2]周志华.机器学习[M].清华大学出版社,2016.

[3]尹宝才,王文通,王立春.深度学习研究综述[J].北京工业大学学报,2015

（1）:

48-59.

[4]刘建伟,刘媛,罗雄麟.深度学习研究进展[J].计算机应用研究,2014,31（7）:

1921-1930.

[5]阎平凡,张长水.人工神经网络与模拟进化计算[M].清华大学出版社,2005.

[6]韩力群,康芊.《人工神经网络理论、设计及应用》——神经细胞、神经网络和神经

系统[J].北京工商大学学报:

自然科学版,2005

（1）:

52-52.

[7]LecunY,BengioY,HintonG.Deeplearning[J].Nature,2015,521（7553）:

436.

[8]SchmidhuberJ,rgen.Deeplearninginneuralnetworks[M].ElsevierScienceLtd.2015.