LSTM-长短期记忆网络-课件教程.pptx

LSTM-长短期记忆网络-课件教程.pptx

《LSTM-长短期记忆网络-课件教程.pptx》由会员分享，可在线阅读，更多相关《LSTM-长短期记忆网络-课件教程.pptx（22页珍藏版）》请在冰点文库上搜索。

LSTM-长短期记忆网络,LongShort-TermMemory,时间：

2018年9月,创作者：

进化学习团队,目录CONTENTS,01,神经网络简介IntroductiontoNeuralNetwork,03,应用与实验ApplicationandExperiment,02,LSTM-长短期记忆网络LongShort-TermMemory,04,总结Summary,PART01,神经网络简介IntroductiontoNeuralNetwork,神经网络定义,Definition人工神经网络（英语：

ArtificialNeuralNetwork，ANN），简称神经网络（NeuralNetwork，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。

神经网络由大量的人工神经元联结进行计算。

大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。

维基百科人工神经网络（ArtificialNeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionModel），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

百度百科,神经网络结构Structure,典型的神经网络具有以下三个部分：

结构（Architecture）指定了网络中的变量和它们的拓扑关系。

例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activitiesoftheneurons）。

激励函数（ActivityRule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。

一般激励函数依赖于网络中的权重（即该网络的参数）。

学习规则（LearningRule）指定了网络中的权重如何随着时间推进而调整。

神经网络种类Variety,根据维基百科定义，人工神经网络分类为以下两种：

1.依学习策略（Algorithm）分类主要有：

监督式学习网络（SupervisedLearningNetwork）为主无监督式学习网络（UnsupervisedLearningNetwork）混合式学习网络（HybridLearningNetwork）联想式学习网络（AssociateLearningNetwork）最适化学习网络（OptimizationApplicationNetwork）2.依网络架构（Connectionism）分类主要有：

前馈神经网络（FeedForwardNetwork）递归神经网络（RecurrentNetwork）强化式架构（ReinforcementNetwork）,PART02,LSTM-长短期记忆网络LongShort-TermMemory,LSTM定义Definition,递归神经网络（RNN）是两种人工神经网络的总称。

一种是时间递归神经网络（RecurrentNeuralNetwork），又名循环神经网络，另一种是结构递归神经网络（RecursiveNeuralNetwork）。

时间递归神经网络的神经元间连接构成矩阵，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。

RNN一般指代时间递归神经网络。

单纯递归神经网络因为无法处理随着递归，权重指数级爆炸或消失的问题，难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。

百度百科LSTM（LongShort-TermMemory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

百度百科,LSTM结构Structure,LSTM结构图1,LSTM结构Structure,LSTM单元结构图-Cell状态1LSTM的核心是Cell状态，即在图上方流动的水平线。

Cell状态类似于传送带，直接在整个链上运行，只有少量的线性交互，保证了信息在上面流动的稳定性。

LSTM有通过精心设计的称作为“门”的结构来去除或者增加信息到Cell状态的能力。

门是一种让信息选择式通过的方法。

LSTM拥有三个门来保护和控制细胞状态。

1,LSTM结构Structure,LSTM单元结构图-遗忘门结构1在LSTM中的第一步是决定会从细胞状态中丢弃什么信息，而这个决定通过一个称为遗忘门层完成。

该门会读取1和，经过函数处理，输出一个在0到1之间的数值给每个在细胞状态1中的数字。

0表示信息“完全舍弃”，而1表示“完全保留”。

1,LSTM结构Structure,LSTM单元结构图-输入门结构1该步确定什么样的新信息被存放在Cell状态中。

这里包含两个部分，第一，层称“输入门层”，决定什么值将要更新；同时，一个tanh层创建一个新的候选值向量，被加入到状态中。

1,LSTM结构Structure,LSTM单元结构图-Cell状态更新1现在可以对旧Cell状态进行更新了，即1更新为。

将t-1时期的Cell状态1与相乘，丢弃掉确定需要丢弃的信息，然后加上与的乘积，就得到了t时期的Cell状态。

1,LSTM结构Structure,LSTM单元结构图-Cell状态更新1信息输出。

首先，读取1和，经过函数处理，输出一个在0到1之间的数值给经过tanh函数的每个在当前Cell状态中的数字，即将与tanh（）的乘积作为输出信息。

1,PART03,应用与实验ApplicationandExperiment,LSTM应用Application,机器人控制（RobotControl）时间序列预测（TimeSeriesPrediction）图像/语音/手写识别（Image/Speech/HandwritingRecognition）音乐合成（MusicComposition）语法学习（GrammarLearning）人体动作识别（HumanActionRecognition）自然语言处理（NaturalLanguageProcessing）语义解析（SemanticParsing）目标协同分割（ObjectCo-segmentation）,LSTM实验Experiment,#导入所需模块importnumpyasnpfromkeras.modelsimportSequentialfromkeras.layersimportDense,Dropout,LSTMimportmatplotlib.pyplotasplt#产生训练数据7.x=np.arange（0,2*np.pi,0.02）y=np.sin（x）x=np.reshape（x,（x.shape0,1,1）#构建LSTM网络框架11.model=Sequential（）model.add（LSTM（48,input_shape=（None,1）model.add（Dropout（0.01）model.add（Dense

（1）#训练模型pile（loss=mean_squared_error,optimizer=adam）model.fit（x,y,batch_size=5,epochs=100）18.testPredict=model.predict（x）19.#可视化结果20.x=np.reshape（x,（x.shape0,1）predict,real=plt.plot（x,testPredict,r-,x,y）plt.legend（predict,real）,（predict,real）,loc=best）plt.show（）,这里举一个sin正弦函数拟合的例子。

软件环境Anaconda4.2+（python3.5+），TensorFlow1.6+（后端计算），Keras2+（训练模型构建）。

PART04,总结Summary,总结Summary,神经网络简介简要介绍了神经网络的定义、组成和分类。

LSTM介绍了LSTM的主要组成模块和运行原理。

LSTM应用梳理了LSTM应用的领域。

LSTM实验Python编程实验，利用LSTM网络拟合sin正弦函数。

参考文献References,UnderstandingLSTMNetworks基于Keras的LSTM多变量时间序列预测-免费源代码LSTM（长短期记忆网络）时序预测资料汇总/综述（python，Keras，TensorFlow）Keras:

基于Python的深度学习库,进化学习|EvolutionaryLearn,转载、分发请注明出处感谢一路有你,