人工智能+大数据应用介绍方案 AI+大数据应用介绍方案.pptx

人工智能+大数据应用介绍方案 AI+大数据应用介绍方案.pptx

《人工智能+大数据应用介绍方案 AI+大数据应用介绍方案.pptx》由会员分享，可在线阅读，更多相关《人工智能+大数据应用介绍方案 AI+大数据应用介绍方案.pptx（51页珍藏版）》请在冰点文库上搜索。

人工智能+大数据应用介绍方案2019内容提纲人工智能基本概念与发展历史人工智能与大数据人工智能在气象领域的应用案例人工智能在环保领域的应用案例人工智能在网络安全领域的应用案例智人慧小工区云智服务能平台面整体临解决的方案机智慧遇小区与云服挑务平战台整体解决方案智慧小区云服务平台整体解决方案总结与展望2人机交互层基于人工智能技术的强对流天气聚焦与推演方案目标：

聚焦：

辅助决策。

从海量数据中聚焦关键特征和重点区域，辅助气象专家进行决策；推演：

协助研判。

提供智能推演，协助气象专家对未来3小时的天气形势进行研判方案特点：

采用人工智能技术综合运用多种深度学习算法半结构化与非结构化大数据处理技术雷达反射图核心模块气象数据展示效果模型算法多层神经网络Softmax线性模型卷积神经网络（CNN）循环神经网络（LSTM）卫星云图GRIB2在分析预报场资料关键特征识别重点区域时空特征天气变化推识别学习演未来3小时强对流天气模拟推演关键特征和重点区域2维效果展示层o智慧小区云服务平台整体解决方案系智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案统层层模型层数据辅助人工决策提供智能推演气象专家最终气象预报结果历史对流过程标注数据智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案与传统方法的比较拥有深度自学习能力。

认知计算无需先验知识，即可从海量历史数据中进行训练学习，并挖掘潜在的规律和模式。

同时，认知计算能够根据每天产生的气象数据进行自动学习，自我调整以适应天气变化的最新情况。

拥有基于大数据的辅助决策能力。

能够充分利用气象历史数据。

气象数据越多，收集时间越长，认知计算模型的分析结果越准确。

数据依赖程度低。

认知计算系统只需少量的观察和再分析数据即可完成分析和推演。

基于空气动力学进行数值计算。

传统数值方法主要依赖空气动力学公式对气象数据进行分析，计算开销高。

基于少量历史数据进行人工决策。

传统数值方法主要基于少量历史数据，进行人工外推。

其历史气象数据未得到充分利用。

依赖专家经验。

传统数值方法依赖专家根据其掌握的经验进行分析和调整。

需要大量的物理变量组合分析。

传统数值方法很难处理物理变量缺失的情况。

传统数值方法人工智能方法智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案强对流天气聚焦700mb高度垂直速度，地面能见度，10米风，80米风，地表温度，历史对流天气标注结果输入参数关键特征识别重点区域可视化子系统的构成：

气象图片资料的自动解析多层神经网络模型Softmax线性模型特征预测效果评估模块多特征自动排序模块重点区域可视化模块子系统的特点：

支持43+种气象图片的自动分析综合运用领先的深度学习技术支持端到端的关键特征识别和排序支持基于计算机视觉技术的重点区域可视化气象图片资料历史对流天气标注集多层神经网络模型单特征预测效果评估训练数据验证数据多特征自动排序气象图片资料历史对流天气标注集Softmax线性模型格网不同位置权重解析重点区域可视化待分析特征注:

深度学习的结果只能揭示区域和预测目标的相关性，但不能解释区域和预测目标的因果关系。

智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案关键技术1-关键特征识别与排序候选气象特征（43个）可降水相对湿度入射短波辐射地面对流有效位能地面对流抑制2米露点温度2米相对湿度累计降水700mb高度温度行星边界层高度700mb高度垂直速度雪水当量降水类型500mb高度温度1小时降雪混合对流有效位能最不稳定对流有效位能最不稳定层对流有效位能10米风可降水航空飞行规则80米风925mb高度温度500mb高度涡度雪深250mb高度风场2米位温850mb高度相对250mb高度风速湿度地面能见度850mb高度温度云顶高度高层云量云底高度总云量低层云量中层云量850mb高度风场850mb高度风速2米温度-地表温度850-500mb平均相对湿度高低6-10月历史对流天气标注集地表温度2米温度针对年月20166-10月间48个对流天气过程，根据其中个候选43气象特征，收集10w+张图片。

根据评估结果，对不同特征按照预测效果进行排序。

关键特征的识别与排序旨在从海量数据中提炼有效特征，协助气象专家提升对流天气过程的预报准确率。

输入层模拟雷达反射率隐层I隐层II隐层III误差反向传播输出层信息正向传播针对每个候选特征，应用深度学习中的多层神经网络模型对其预测对流天气过程的能力进行评估。

7针对待分析特征，按照发生对流过程的类型，对图片进行分别标注。

关键技术2-重点区域识别根据对流过程的类型，应用softmax线性模型对不同位置网格点（RGB取值）的重要性（权重）进行评估，进而识别出不同类型天气的重点区域，如右图所示。

网格点权重可视化。

7示例250mb高度风场（b）待分析图片重点区域可视化旨在从海量地理气象数据中快速发现重要区域，辅助气象专家提升对流天气过程的预报精如上图所示，通过比较待分析图片和标准模板，可以计算对应区域的偏差。

通过对偏差的分析比较，可以准确地识别出待分析图片未来1-3h内可能发生的天气过程的类型。

（a）无对流过程标准模板智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案重点区域无对流过程台风过程大尺度天气系统降水过程局地对流天气过程8重点区域识别结果验证（示例：

250mb高度风场）局地对流天气2016年10月04日14:

0017:

00偏差0.030.410.210.09偏差0.030.330.190.11偏差0.050.210.070.14偏差0.010.010.10.12重点区域无对流过程台风过程大尺度天气系统降水过程局地对流天气过程根据重点区域的分析结果，可以分析出未来出现不同天气类型的概率。

结果验证：

系统为预报员提供无对流天气过程模板和重点区域具体位置。

预报员可以通过比较重点区域的偏差情况，分析未来0-3h出现的天气类型。

智慧小区20云16年服10务月0平4日台14:

整00体解决方案智慧小区云201服6年务10月平04台日1整5:

0体0解决方案智慧小区20云16年服10务月0平4日台16:

0整0体解决方案2016年10月04日17:

00强对流天气推演强对流天气推子系统的构成：

卫星云图和雷达反射图的自动解析卷积神经网络模型循环神经网络模型多层网络的深度学习模型支持未来天气的自动推演模块系统特点：

通过海量历史数据训练模型时空特征认知空间特征：

卷积神经网络（CNN）时序特征：

循环神经网络（LSTM）利用深度学习优化模型历史卫星云图，雷达反射图卷积神经网络层（空间特征提取）多层网络连接数据集未来天气自动推演智慧小区云服务平台整体解决方案智慧小演区云服务平台整体解决方案智慧小循环区神云经服网务络平层台整体解决方案（时间特征提取）时空特征学习深度学习优化输出结果无监督学习实时卫星云图，雷达反射图智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案10关键技术3-基于多层卷积的时空特征学习技术路线-1.通过卷积神经网络（CNN）提取空间特征：

在每一层神经网络中，空间数据做卷积等操作，并通过误差反向传播学习卷积核-2.通过循环神经网络（LSTM）提取时间特征：

循环利用卷积神经网络学习天气变化的规律-3.采用多层卷积层，并循环利用参数空间进行建模，优化后的模型可以很好的掌握天气在空间和时间上的变化规律1.卷积神经网络层：

通过卷积学习天气的空间特征天气序列输入天气序列输出3.多层网络连接2.循环神经网络层：

通过循环层学习天气变化的时间特征11示例：

强对流天气推演-雷达反射图（示例一）观测序列2016年8月1日00:

0004:

00实际发生2016年8月1日05:

0007:

0005:

0007:

00天气推演2016年8月1日智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平利台用整模体型解推决方演案未来3个小时的天气变化模型推演到了台风登陆的位置和时间模型推演到了台风移动的方向和旋转12示例：

强对流天气推演-雷达反射图（示例一）实时天气2016年8月1日04:

003小时后天气2016年8月1日07:

003小时后天气推演2016年8月1日07:

00模型可以推演出左上智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案角逐渐消散的过程模型可以推演出左下角的从无到有模型可以推演出右下角台风中心的移动和旋转利用模型推演未来3个小时的天气变化推演到了台风登陆的位置和时间13示例：

强对流天气推演-卫星云图（示例二）实时天气2016年8月3日04:

003小时后天气2016年8月3日07:

003小时后天气推演2016年8月3日07:

00模型可以推演出左上智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案角的从无到有模型可以推演出右下角的移动利用模型推演未来3个小时的天气变化推演出右上角向下方移动推演出中心的消散内容提纲人工智能基本概念与发展历史人工智能与大数据人工智能在气象领域的应用案例人工智能在环保领域的应用案例人工智能在网络安全领域的应用案例智人慧小工区云智服务能平台面整体临解决的方案机智慧遇小区与云服挑务平战台整体解决方案智慧小区云服务平台整体解决方案总结与展望14业务需求：

需要利用大数据分析人工智能等技术，以数据驱动业务，以分析支持科研业务需求许多小的功能由于结合不同时期的需求自主开发，较为零散，导致操作分散需要整合多维度数据辅助人工人工生成报表，查询指定时间、指定维度数据困难、工作量大使用excel模板生成报表，易出错分析层次1.多维度综合查询，从Excel中解放出来2.常规统计分析报表，数据审核智慧小区云服务平台整体解决方案智慧小区云服务平台业整务体轻解松决一方览案智慧小区云服务平台整体解决方案统一的数据资源池3.高级模型挖掘，获取深入洞察*室空气质量监测数据气象监测数据特殊VOC监测数据监测中心的综合监测站监测数据各类设备运行状态数据PM2.5/TSP/PM10采集称重数据*室重金属分析OC/EC分析有机组分分析阴阳离子分析*室空气质量监测审核数据空气质量监测统计数据*室PM2.5反演图污染气体反演图沙尘反演图简报/月报数据*室区县监督性监测数据区县比对监测数据中心监督性监测数据激光雷达监测数据垂直气象要素监测数据FDMS分析监测数据空气环境遥感应用监测数据污染物化学组分监测数据空气质量日报数据空气质量月报数据空气质量年报数据火点反演图潜势预报产品数据统计预报产品数据气象模型预报产品数据空气重污染预报预警污染源处理模型数据空气质量数值模型数据案例库数据智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体面解源决遥感方数案据激光雷达数据在线源解析结果情景模拟结果基准污染源清单减排污染源清单国控污染物数据简报/月报数据*室监测数据库业务产品数据库辅助数据库目录和元数据库运行支撑管理数据库第三方数据GIS数据总站空气监测数据气象数据。

大气环境业务数据和信息的数据视图未来小型监测设备京津冀数据数据层模型层应用层设计方案展示层外部移动应用GIS报表曲线社交内部网站GIS图像报表曲线外部网站发布GIS图像报表曲线模型特征业务规则综合观测实验室数据应用环境空气质量分析及业务应用统计与数值模型预报综合会商重污染应急决策支持统计模型库自动室分析室专家知识库空气质量预报预警空气质量综合分析MM5/WRF数值模型库CMAQNAQPMSSMOKECAMxWRF-ADMAQMDSARIACHEMSS特征场挖掘基于案例的推理深度学习认知计算时空模式关联分析场分析误差模式模型融合分析挖掘大气室外部数据在线源解析数据审核，管理与融合遥感室污染源室基于情景的污染过程仿真大气污染源管理及应用重污染过程分析与案例库管理污染控制方案效果评估智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案空气质量大数据分析空气质量指标体系空气质量高级统计分析工具集基于GIS的数据耦合展示业务知识积累数值模型工作原理输入数据模型库MM5WRF源排放清单CMAQ重污染案例再分析数据空气质量预报（包括集合预报）CAMxWRF-CHEM源排放情景库SMOKE卫星遥感数据气象观测数据科研试验数据空气质量观测数据人工观测数据AQMDSSNAQPMSADMSARIA全球背景场数智慧小区云服务平台整据体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案（NCEP,ECMWF,JMA,CMC,etc.）作业管理与调度优化在线源解析排放控制情景模拟重污染影响参数模拟污染同化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案统计模型工作原理数据层模型层应用层展示层GIS曲线GIS外部移动应用报表曲线社交内部网站图像报表GIS曲线外部网站发布图像报表综合观测实验室数据应用环境空气质量分析及业务应用统计与数值模型预报综合会商重污染应急决策支持专家知识库模型特征（气象场、污染变化趋势等）业务规则（平稳天气研判、逆温识别等）空气质量预报预警空气质量综合分析MM5/WRF数值模型库CMAQNAQPMSSMOKECAMxWRF-CHEMADMSAQMDSSARIA认知计算特征场挖掘基于案例的推理深度学习在线源解析基于情景的污染过程仿真业务知识积累自动室分析室数据审核，管理与融合遥感室污染源室大气室外部数据统计模型库时空模式多污染物气象场关预报误差多预报模分析关联分析联分析模式挖掘型融合空气质量大数据分析空气质量指标体系空气质量高级统计分析工具集基于GGIISS的数据耦合展示大气污染源管理及应用重污染过程分析与案例库管理污染控制方案效果评估现有业务提升个性业务分析技术方案设计智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案人工智能技术应用-重污染案例分析相关分析区域传输分析气象条件分析时序分析分布分析跨行业分析现有业务提升重污染案例设计个性业务分析预报会商设计技术方案设计智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案人工智能技术应用-重污染案例分析重污染案例展示现有业务提升重污染案例设计个性业务分析预报会商设计技术方案设计智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案重污染案例匹配例匹配人工智能技术应用-重污染案现有业务提升个性业务分析重污染案例设预报会商设计计技术方案设计智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案人工智能技术应用-预报预警现有业务提升个性业务分析重污染案例设预报会商设计计技术方案设计智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案人工智能技术应用-个模型层应用层性化业务展分析示层GIS曲线GIS外部移动应用报表曲线社交内部网站图像报表GIS曲线外部网站发布图像报表综合观测实验室数据应用环境空气质量分析及业务应用统计与数值模型预报综合会商重污染应急决策支持专家知识库模型特征（气象场、污染变化趋势等）业务规则（平稳天气研判、逆温识别等）空气质量预报预警空气质量综合分析MM5/WRF数值模型库CMAQNAQPMSSMOKECAMxWRF-CHEMADMSAQMDSSARIA认知计算特征场挖掘基于案例的推理深度学习统计模型库时空模式多污染物气象场关预报误差多预报模分析关联分析联分析模式挖掘型融合在线源解析基于情景的污染过程仿真大气污染源管理及应用重污染过程分析与案例库管理污染控制方案效果评估业务知识积累自动室分析室数据审核，管理与融合遥感室污染源室大气室外部数据空气质量大数据分析空气质量指标体系空气质量高级统计分析工具集基于GGIISS的数据耦合展示现有业务提升个性业务分析技术方案设计1.选择有效指标进行PM2.5等级与气象条件的规律挖掘2.自动挖掘规律3.语义化展示，业务人员根据专业知识总结结论智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案人工智能技术应用-个性化业务分析现有业务提升个性业务分析技术方案设计模型全生命周期管理人工智能模式挖掘时空分布/演化特征多污染物关联特征气象场的关联分析预报模型的误差性能特征预报特征库统计/数值模型（新建/更新）专家知识库业务规则引擎业务经验模型融合深度学习算法统计/数据挖掘引擎随机森林CHAID神经元网络广义线性回归SVMC5.0,CART,KNNCasebasedReasoning模型评估模型上线模型归档模型升级知识集成统一数据资智慧小区源云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案池人工智能技术应用-技术方案设计现有业务提升个性业务分析技术方案设计内容提纲人工智能基本概念与发展历史人工智能与大数据人工智能在气象领域的应用案例人工智能在环保领域的应用案例人工智能在网络安全领域的应用案例智人慧小工区云智服务能平台面整体临解决的方案机智慧遇小区与云服挑务平战台整体解决方案智慧小区云服务平台整体解决方案总结与展望27背景什么样的网页会被称为恶意网页？

便利的网络服务吸引了网络攻击者们通过钓鱼网站1-1，垃圾广告1-2和恶意软件1-3推广等方式进行非法牟利。

尽管这些不法活动的目的和手段各不相同，但他们都需要智慧小区云服务平台整体解决方案智慧小区不云服知务平情台的整体用解决户方案访智问慧小攻区云击服务者平提台整供体解的决方网案页地址以达到攻击目的。

这些网页因此被称为恶意网页。

28背景恶意网页的威胁有多大？

国际反钓鱼组织APWG的数据显示，2012下半年间，使用恶意网页进行网络钓鱼从93,462起攀升到123,486起。

卡巴斯基报告1-4显示，恶意网页在87.36%的网络攻击中智慧小区云服务平台整体解决方案智慧小区出云服现务平，台并整体已解决成方案为智黑慧小客区云谋服务求平经台整济体解利决方益案的重要工具。

Google的研究指出，其搜索结果中1.3%的页面为被挂马网页1-4.1。

29因此，如何有效地识别恶意网页已经成为亟待解决的网络安全问题之一。

智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案背景恶意网页识别的一些研究进展观点：

恶意网页的识别与检测是一个攻防博弈问题。

攻击者视角：

自动生成域名技术、隐匿技术。

防御者视角：

学术界：

URL语法特征，DNS特征，网页内容特征等。

工业界：

SmartScreen筛选器和Safebrowsing采用的内置黑白名单方法等。

30下面分别从恶意网页识别问题的基本概念，识别技术和面临挑战三个方面介绍。

智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案目前，恶意网页尚无一个明确的、统一的定义。

Google2-1将恶意网页限定为一种不安全的网站，发生的场景可以是恶意软件自动下载2-2，网页弹窗2-3诱骗用户输入自己的用户名和密码等。

BirhanuE.等人2-3.1将恶意网页定义为一类通过利用漏洞对一次性的访问行为发起攻击的网页。

百度百科上2-4对恶意网站定义为故意在计算机系统上执行恶意任务的病毒、蠕虫和特洛伊木马的非法网站，并指出他们的共同特征是采用网页形式让人们正常浏览页面内容，同时非法获取电脑里的各种数据。

一般来说，恶意网页是以网页木马，钓鱼网站为代表的一类网页。

不同于正常网页，恶意网页往往通过伪装成合法网站或在网页中嵌入恶意脚本，从而在用户访问时对其网络安全构成威胁。

恶意网页基本概念与评价指标31因此，将恶意网页定义为以网页形式出现，以访问时窃取用户隐私，安装恶意程序或运行恶意代码等恶意行为为目的的网页集合。

恶意网页识别概述32恶意网页识别概述恶意网页识别系统基本框架包括网页采集，特征抽取，网页判别三个步骤。

恶意网智页慧识小区别云服的务应平台用整体场解决景方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案攻击场景检测位置主要识别特征恶意网页识别框架33恶意网页识别系统基本框架

（1）网页采集。

负责对互联网上的网页进行收集、去重和过滤。

其中，按照网页收集方式，一般可分为主动和被动两种。

（2）特征抽取。

依据网页自身特点和识别方法的不同，对网页信息的特征进行抽取，作为识别恶意网页的依据。

这些特征包括但不限于URL词汇特征，主智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案机信息特征，网页内容特征，URL（DNS）黑名单，链接关系以及跳转关系等。

（3）网页判别。

主要判别方法包括：

黑名单过滤法，规则匹配法，机器学习方法以及基于交互式主机行为的识别方法。

图1.恶意网页识别的基本框架智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案恶意网页识别概述34恶意网页识别概述恶意网页识别的应用场景攻击场景：

钓鱼网页，恶意软件下载，跨站脚本执行（XSS），SQL注入，网页木马检测位置服务器端,客户端，网关端主要识别特征此外，一些研究从HTTP会话3-23,搜索引擎提供的相似网页3-24出发，对恶意网页的识别提供了新的思路。

网页特征分类静态特征动态特征主机信息URL信息静态内容WHOIS信息DNS信息词汇特征URL长度HTMLTagJavascript漏洞信息链接关系浏览器行为跳转关系注册表变化文件变化图2.识别恶意网页的特征分类恶意网页识别研究进展35恶意网页识别的方法基于黑名单技术的识别方法基于启发式规则的识别方法基于机器学习的识别方法智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案基于交互式主机行为的识别方法。

恶意网页识别研究进展36恶意网页识别的方法基于黑名单技术的识别方法典型应用：

GoogleSafebrowsing,DNSBL,PhishTank等。

存在问题：

不能及时更新，容易漏判基于启智发慧式小区规云服则务的平台识整体别解决方方法案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案基于机器学习的识别方法基于交互式主机图1行为的黑名识单别示例方法www.phish.tw恶意网页识别研究进展37恶意网页识别的方法基于黑名单技术的识别方法基于启发式规则的识别方法典型应用：

火狐Firefox,IE智慧小区云服务平台整体解决方案智慧小区云服务平存台整在体问解题决方：

案误智慧报小率区高云服，务规平台则整更体新解决难方。

案基于机器学习的识别方法基于图交互式启主发式机规行则示为例的识别方法2/a-z*.phish.a-z*/a-z*.malicious.a-z*/a-z*.y0utube.a-z*/图1黑名单示例www.phish.tw恶意网页识别研究进展38基于黑名单技术的识别方法基于启发式规则的识别方法0101010100011010000101000110URL集合Featureextractor基于机器学习的识别方法URLfeatures分类模型URL分类