大数据态势感知系统白皮书V20doc.docx
《大数据态势感知系统白皮书V20doc.docx》由会员分享，可在线阅读，更多相关《大数据态势感知系统白皮书V20doc.docx（12页珍藏版）》请在冰点文库上搜索。
大数据态势感知系统白皮书V20doc
一、研发背景2
二、需求要点3
三、解决方案4
四、系统技术体系8
4.1系统总体架构8
4.2系统主要功能9
4.3业务模型11
五、系统部署方式13
5.1部门级部署13
5.2企业应用部署13
5.3集团应用部署14
5.4部署要求15
六、系统优势16
、研发背景
近年来，我国政府和企业信息化建设得到快速发展，越来越多的各类核心业务的开展高度依赖于信息技术应用，因此，信息安全问题的全局性影响作用日益增强。
目前，很多政府企业在信息安全保障体系建设方面已经达到了一定的水平，先后建立了非法外联监控管理系统、防病毒系统、补丁分发系统、防火墙、入侵检测系统、漏洞扫描系统等，为客户端安全管理、网络安全管理和系统安全管理提供了技术支撑手段；但当前各种信息安全保障工作相对独立，各自为政，单点的工作开展的多，缺乏有效手段将这些安全工作有效串接，并形成一个综合防御体系。
另外，信息安全监控、审计作为保障信息系统安全的制度逐渐成熟，并已在对信息系统依赖性高的行业开始普及。
信息安全审计的相关标准包括ISO/IEC17799、COSOCOBITITIL、NISTSP800等。
这些标准从不同角度提出信息安全控制体系，可以有效地控制信息安全风险。
同时，公安部发布的《信息系统安全等级保护技术要求》中对安全监控、审计提出明确的技术要求：
监控审计范围覆盖网络设备、操作系统、数据库、应用系统，监控审计内容包括各网络设备运行状况、系统资源的异常使用、重要用户行为和重要系统命令的使用等系统内重要的安全相关事件。
伴随着大数据时代的到来，不同规模的企业和组织每天发生的事件从上亿到百亿之间，随着企业和组织规模的扩大，各类应用系统的日益增多，各类安全信息的规模变得非常庞大和种类繁多，这使以日志和事件为代表的安全信息的采集规模变得日益庞大，而构架在传统关系型数据库下的日志安全中心因在数据扩展方面的劣势，已经无法适应海量数据的存储和安全事件的处理的现实要求，使得安全中心的日志历史数据的分析能力变弱，导致安全事件的调查效率较低。
同时，构建在传统关系型数据库下的日志安全中心对企业各类设备的产生的各类异构安全数据的存储和管理也变得困难。
所以为了应付安全大数据带来的问题，还需要用大数据的技术来解决。
只有将大数据分析技术充分融合
到现有的安管平台技术架构中形成新一代的安全态势感知平台，才能使传统的安管平台焕发新生。
二、需求要点
整合企业目前部署的各种相对孤立的安全防护资源（主要包括：
防火
墙、入侵检测系统、漏洞扫描系统、UTM等），实现对各种网络安全装
置信息的综合监控、管理及分析；在大数据时代，以数据为核心，用新技术提供的低成本、高可靠、可弹性扩展的数据处理能力，满足组织和企业对异构海量日志数据的处理需求;以关联分析（知所已知）和行为分析（知所未知）为基础，为安全管理人员提供智能化分析方法，以应对日益复杂的隐蔽攻击和威胁，从数据中发现价值;同时，以运维和管理为动力，提供流程辅助、合规管控、安全分析和决策支持等能力;并且通过可视化技术和人机交互为安全管理人员提供工作接口，展现数据价值。
紧密围绕具体业务，采用主动的和真正具有安全智能的管理技术，并采用融合大数据技术的软件架构，严格监控各种关键业务系统（主要包括：
生产类的生产调度系统，财务类的集团财务系统，研发类的PDMS
统以及管理类的办公自动化系统、HR系统、ERP系统等），防止对重要数据非授权篡改行为的跟踪及审计等。
通过以上几点可以帮助企业建立一套横向贯穿孤立的安全防线的整体安全态势感知平台，通过获取防病毒系统、防火墙、入侵检测系统、漏洞扫描系统、运行主机、交换机、路由器、数据库系统、中间件等日志事件、状态事件和网络数据包和各类设备的状态运行数据的采集、综合评价和网络安全事件关联分析，实现对来自外部攻击的安全审计和对来自内部攻击的安全审计，为网络管理维护人员提供一个监控整个网络的软件和硬件设备运行状况、分析挖掘异常入侵信息、审计业务系统关键数据、发出各种方式网络安全事件告警的手段，真正让企业和组织的管理者把握网络信息整体安全态势，实现有效地协同
防御
［、解决方案
随着网络规模的迅速扩大，单一式的安全技术逐步被分布式安全技术所代替，加上各类应用系统逐步增多，网络管理人员、运维人员工作量往往会成倍增加，海量的数据和日志信息使得关键信息得不到重点关注。
大量事实表明，对于安全事件发生或关键数据遭到严重破坏之前完全可以预先通过日志异常行为告警方式通知管理人员，及时进行分析并采取相应措施进行有效阻止，从而大大降低安全事件的发生率。
对于一个典型的用户而言，经过较为系统的安全建设后，都会部署较多的安全产品。
这些安全产品每天产生的事件量是巨大的，如下表所示：
安全目标
安全产品
每天产生的日志量
网络安全
防火墙
600万条
网络设备（交换机、路由器）
>10000条
网络入侵检测
>200万条
防病毒/桌面管理
防病毒服务器、防病毒网关
10万条
内网安全
桌面终端管理系统
>3000条
保护关键业务系统
主机审计系统、数据库服务器审计系统、应用程序审计系统。
15万条
总日志量/每天
820余万条
显然，收集和分析上述海量的安全事件是一个巨大的挑战，而能否做到这点将直接决定一个安全态势感知系统的成败。
同时，安全态势感知系统决不能简单地将这些海量的信息直接展示给客户，否则，用户面对这些海量的网络安全事件将束手无策，管理运维效率将不升反降。
此外，大量的安全事件汇聚到一起，根据其安全属性的相关性，可能隐含了新的更严重的安全事件，这种相关性是管理人员难以用肉眼观察出来的。
网络安全监控系统的目标就是要收集这些海量事件，并通过有效的分析手段输出很少量的、真正值得管理员关注的安全事件。
捋原始日志按法至场星建惶定义安全事件
丈數齡析平台+和安全告贅
根据日志格式和规则库对蹴始H志进行1S式标准此
态势感知平台数据处理流程
针对以上存在的问题，我们推出了云码安全态势感知平台，该平台系统以
海量日志为核心，采用模块化的工作组件设计和大数据分布式系统架构。
安全态
势感知平台采用机器学习、数据建模、行为识别、关联分析等方法，通过全量收集网络设备、网关、终端、虚拟化和认证系统上的日志，对海量日志进行集中分析和挖掘，从而发现潜在的安全风险。
实现安全信息的长期全量存储、全文检索分析、异常行为检测和安全合规要求。
鉴于网络安全管理过程中存在的诸多问题和充分利用现有网络安全设备功
能，统一的系统应在充分发挥现有网络安全设备功能的基础上，组成一个“联合
防御”体系，实现对来自外部攻击的安全审计、对来自内部攻击的安全审计和对信息访问的内容审计。
为网络管理维护人员提供一个监控整个网络的软件和硬件设备运行状况、分析挖掘异常入侵信息、审计业务系统访问手段、各种方式预警的网络管理工作平台。
安全态势感知系统就是以业务系统为安全防护中心，通过适时采集网络中
发生的瞬间即逝的海量网络信息安全事件，并将大量的安全事件过滤、压缩、归并，提取出少量的、或者是概括性的重要安全事件（相当于关联分析中的事件
量变”），然后从大量的安全事件之中发掘隐藏的相关性，产生新的不在之前事件之中的安全事件（相当于关联分析中的事件质变”），实现经过高效和精确的事件关联，降低网络维护成本，改进网络和主机系统的可用性和网络服务的性能。
实时监控网络中数据库的所有访问操作，发现各种违规数据库操作行为，及时报警响应操作还原，实现数据库安全事件的准确跟踪定位，保障数据库系统安全。
收集来自用户的事件，当用户进行数据库访问操作时，管理平台根据审计数据字典，判断其数据库访问行为是否为审计事件，当数据库访问事件满足审汁报警记录条件时，管理平台则向管理人员发送报警信息并把用户对数据库的所有操作自动记录下来，存放在审计日志中。
当发现新数据库访问具有潜在危害性，而审计数据字典未制定的对应审计规则，管理人员可以在审计数据字典中更新审计规则。
安全态势感知系统采用全新的解决方案，突出在以下几点：
自身携带网络抓包、日志搜集、设备状态探测等获取网络安全信息的手段；能够接收现有网络中的网络抓包、日志搜集、设备状态探测等网络管理设备发出的网络安全信息；
可以进行常用防火墙、IDS、IPS等告警日志的二次关联分析，在一次安全防卫的基础上，准确地进行二次安全防卫，精准地给用户提供告警信息；实现三级安全联防。
在第一级关注的网络安全事件出现后，立即启动第二级相应的追踪模型，当后续网络安全事件进入追踪区域时，瞬间激活第三级相应的对策服务，对危害行为的网络安全事件进行阻挡和转化；分析引擎工作方式可以受外部策略脚本控制，通过不断地编写策略脚本，就能够不断增强分析的范围和分析的效率；
包含图示化的策略脚本编写工具，可以轻易地按照最新的网络安全问题编写出策略脚本，加载到分析引擎的策略脚本库中，提升网络安全防卫水平，解决最近出现的网络安全问题；
可以连接到互联网上，从网络安全金管家网站的策略脚本库中下载最新策略脚本，更新本地的策略脚本库；
提供网络报文流动方向拓扑图快照，建立网络报文流动方向的健康模型，旦出现异样，可以及时通过网页形式查看可以的网络报文流动方向拓扑图快照，方便找出危险源；
对于流动的海量网络安全事件，可以动态依据策略脚本改变观察窗的大小和网络安全事件驻留的时间长短，确保事前、事中、事后的关联分析准确性；最长300天的网络安全事件留存，可以满足任何网络安全审计业务的要求；灵活强大的查询功能，系统使用了大数据交互式查询技术，满足安全审计员的日常工作需要。
安全审计员可以通过自定义的仪表盘同日志审计所存储的所有日志进行交互，实时显示查询到的数据，查询时间缩短到秒级。
系统支持任意嵌套查询，并可随意回退，通过仪表板可视化处理数据，真正做到所见即所查。
系统可将查询条件保存为策略，支持策略的导入导出，供后期使用，为安全审计员工作提供便利。
安全审计员通过仪表板可任意选择需要显示的字段和信息，并可对查询结果随时进行统计分析、可视化分析，包括地理定位、多维分析、TopN分析，支持关键字和正则表达式的全文检索。
系统的交互式分析功能为安全审计和分析人员在进行安全事件调查和威胁分析时提供了一个强有力的武器。
强大的各类日志的检索功能，不仅提供了基于范式化后的格式数据内容的实时关联分析和统计报表，同时还提供强大的全文搜索功能。
混合式检索技术包括通过对范化后的字段值进行全部日志记录的搜索，其功能基本等同于传统关系库中的SQL查询，查询出包含搜索值的所有的日志记录，并分行显示。
同时，系统支持全文检索技术，它不局限于几种或几十种固定的字段，不需要指定数据的格式，可以结合时间与关键词进行搜索，实时展现搜索结果，并对关键字进行高亮显示。
全文检索在使用上就和Google一样直观易
用，用户可以输入关键词或正则表达式进行任意搜索，提供即时的在线查询，立即产生长时期结果。
混合式检索技术使系统在事件检索上正在做到了灵活与高效。
拥有关键词、内容流向、数据表及数据字段、数据库访问用户甄别等手段，
满足所有业务领域的机密信息内容安全审计需求，第一时间把机密信息被非
法访问、复制、删除的行为暴露给网管人员或信息安全人员；
仪表盘方式展示网络安全分析结果；
可以在手机、短信、Email、WEB桌面等终端上接收网络安全分析结果。
四、系统技术体系
4.1系统总体架构
安全态势中心总体功能分为四大部分：
各类日志及运维数据的实时采集、海
量数据的存储、实时数据流的分析引擎、安全审计分析中心及管理平台
审计数据采集是整个平台的基础，为系统审计提供数据源和状态监测数据。
采集层面使用了异步通讯、高速缓存、日志范式化流水线和消息中间件技术，对海量异构日志进行持续不断地高速采集，使用户能够采集并预处理网络中大规模审计对象的日志。
数据存储方面，针对大数据日志和各类设备的状态运维数据，系统采用了分布式非关系型数据库从根本上解决了使用传统关系型数据库的日志审计系统的性能瓶颈，包括数据存储、数据索引、数据搜索和数据备份的不足，使日志审计系统真正迈向了大数据时代。
对数据进行分片和副本，将分片和副本保存在不同的分布式节点上，同时对数据进行全文索引，通过分布式节点的增加实现对TB/PB级日志数据的保存，并可将数据以文件系统方式保存在各节点上，实现了存储和分析的水平弹性扩展，满足用户存储长期日志数据的要求。
分析引擎对采集的原始数据按照不同的维度进行数据的分类，同时按
照安全策略和行为规则对数据进行分析。
其中数据流式分析采用内存实时计算、复杂事件处理技术结合日志相关的各类事件模型进行实时监控和关联分析，帮助用户及时发现安全异常，快速关联出安全隐患；安全审计分析中心及管理平台，包含了交互式分析、全文检索、历史数据回放、批处理分析等多种先进技术。
其中，历史数据回放提供了历史数据检测的功能，方便安全审计员对保存在系统中的海量数据进行回放，通过高速回放技术为用户重现历史安全场景；批处理分析使
用了数据抽取、数据聚合等技术，能够对TB级日志快速生成报表，满足安全审计员生成各类安全日报、周报和月报等需求。
4.2系统主要功能
系统总体功能分为三大部分：
审计数据采集、分析引擎、审计管理平台。
审计数据采集是整个系统的基础，为系统审计提供数据源和状态监测数据。
对于用户而言，采集日志面临的最大挑战就是：
审计数据源分散、日志类型多样、日志量大。
为此，系统综合采用多种技术手段，充分适应用户实际网络环境的运行情况，采集用户网络中分散在各个位置的各种厂商、各种类型的海量日志。
分析引擎对采集的原始数据按照不同的维度进行数据的分类，同时按
照安全策略和行为规则对数据进行分析。
系统为用户在进行安全日志及事件的实时分析和历史分析的时候提供了一种全新的分析体验一—基于策略的安全事件分析过程。
用户可以通过丰富的事件分析策略对全网的安全事件进行全方位、多视角、大跨度、细粒度的实时监测、统计分析、查询、调查、追溯、地图定位、可视化分析展示等管理平台是安全审计的Wet管理平台，包含了安全审计平台的管理功能和信息发布管理功能。
提供了强大的日志综合审计功能，为不用层级的用户提供了多视角、多层次的审计视图。
系统提供全局监视仪表
板、实时审计视图、内置或自定义策略的统计视图、超强的日志查询和报表管理功能，支持日志的模糊查询和自定义报表。
报表报告是安全审计系统的重要用途，系统内置了丰富的报表模板，包括统计报表、明细报表、综合审计报告，审计人员可以根据需要生成不同的报表。
系统内置报表生成调度器，可以定时自动生成日报、周报、月报、季报、年报，并支持以邮件等方式自动投递，支持以PDFExcel、Word等格式导出，支持打印。
以设备审计为基础:
以管理信息系统相关设备的安全审计为基础，完善日志、网络行为的分析，加强审计力度。
以业务系统审计为中心：
分析管理信息系统业务特点，充分利用设备审计数据进行深度分析，形成业务系统安全审计平台。
提供便于维护的平台：
简化系统的运维，提供多种接口与网管等外围系统进行对接。
4.3业务模型
安全态势感知系统能满足以下审计模型，实现面向业务的安全审计，将零散的网络信息和独立的设备进行整合，业务审计模型图如下所示：
该模型主要从业务结构、信息整合、业务指标三个层面，采用统一的审计规则与策略纵向贯穿，实现面向业务审计的目标。
业务连续性分析、事件关联分析、用户趋势行为分析、业务应用运行分析、业务审计规则、业务分析策略
业务运行独立视图、业务访问监视、业务运行告警、状态实时监测、流量趋势分析
业务结构：
业务审计模型的基础部分，构建安全审计平台接入的组成元素，是安全审计平台涵盖的信息资源，是业务审计规则与策略的具体分析对象。
从类别上主要分为应用、设备、网络与终端用户。
信息整合分析：
业务审计模型的数据抽取部分，将零散的信息以业务结构进行归并与格式化，提取与业务相关的重要信息，实现面向业务模型的数据分析。
业务综合管理：
业务审计模型的提升部分，实现面向业务安全预警及审计功能，以独立的业务视图对状态、访问、流量、告警信息等指标进行分析。
业务审计规则与策略：
以业务审计模型的三个层面为基础，根据技术支持系统的特点定制数据采集策略、数据预警规则、关联分析策略，协调业务审计模型的动态运行。
面向业务审计：
作为该模型的高端应用，实现面向业务审计模型的目标，能从业务连续性、关联性、业务运行特点、用户行为及习惯等方面对业务系统进行针对性的审计与诊断。
五、系统部署方式
5.1部门级部署
对于网络环境比较简单，设备数量较小的网络，可采用独立部署模式，部署一套安全审计系统，直接管理所有的安全设备与网络主机。
5.2企业应用部署
对于网络环境复杂、或者存在大量安全设备的网络，采用集中部署模式。
根据网络划分的多个区域（如：
生产区、WE冈艮务器）每个分区内部部署一套采集组件，实现本分区内的信息收集和处理。
同时，在中心区域部署一套安全审计系统，通过与各类事件组件或安全设备通信，实现整个网络的全局管理。
5.3集团应用部署
对于结构复杂，层次化的网络组织，需要划分为多个管理级别，如集团公司网络，一级子公司网络。
集团公司、一级子公司的管理范围、需求不同，此时采用级联部署模式。
在集团公司和一级子公司网络分别部署一套安全态势感知平台，实现本地网络的安全管理，同时各一级子公司网络会传递本地管理数据到集团公司网络，以便集团公司安全审计系统可管理整个网络。
集团公司管理中心在收到各一级子公司管理中心传送的日志数据后，可以进
行统一日志入库、全局日志分析和集中日志统计，实现统一的安全审计功能。
5.4部署要求
网络安全监控系统部署可从公司网络结构、设备数量、业务系统构架、业务
数据信息等方面进行综合评定后选择适合的部署方式。
以下数据仅供参考
单位
说明
部署方式
设备
主机服务器＜=100台
安全设备＜=20台
独立部署
用户数＜=500
网络设备＜=160台
主机服务器＜=150台
安全设备＜=35台
集中部署
用户数＜=1200
网络设备＜=250台
主机服务器＜=200台
安全设备＜=50台
级联部署
用户数＜=2000
网络设备＜=400台
六、系统优势
在现有以安全边界防护和安全设备的基础上，建设面向关键业务的网络安全监控系统，将“以边界防护为主”的安全管理向“主动防护、联合防御”进行转变，主要效益体现在以下几个方面：
系统资源一体化：
安全审计的对象涵盖被审计系统相关的网络设备、主机、安全设备及应用服务，通过对与关键业务管理系统相关审计对象的原始数据采集，为审计分析和取证提供基础数据，实现了系统资源统一审计。
全过程的联合防御机制：
通过整合安全资源，集状态监测、日志分析、流量统计、数据包监听与业务访问审计于一体的多层事件关联分析模型，能有效的分析、诊断安全事件原因，及时发现事件源，并从事前、事中、事后进行安全事件的预防和取证，减少了安全事件误报与漏报，提高了安全事件的处理效率。
综上所述，通过系统，集成现有安全防护资源，更好的发挥了现有安全防护设备的作用。
系统实现了安全设备与网络运行、业务系统访问管理等信息的有机关联，促进安全管理工作从“边界防护”向“主动防护、联合防御”转变，提升了网络安全管理工作效率。
升级会员 