校园网环境的可视化入侵检测系统研究与实现Word文件下载.doc

1、the introduction of principal component analysis and curvilinear component analysis as a mapping component analysis tools, a high-fidelity and deterministic, a new high-fidelity and deterministic CCA-based visualization algorithm in intrusion detection is proposed.The principal component analysis ma

2、pping as a result of the initial use of iterative algorithm and the use of pseudo-random selection algorithm to increase the point of certainty; mapping and spatial distance to the midpoint between the European Space standardization of the original conversation between the European square from the s

3、ame goals as the optimization algorithm to improve fidelity.Finally, KDD Cup99 data sets used to test and certify,results show that the improved curvilinear component analysis algorithm can be used to identify the internal and external intrusion infiltration. System achieved data analysis and proces

4、s,discovery and display of illegal data and storage of suspicious data into log file,the system satisfies the requirements of instrusion detection system.Keywords: Instrusion Detection, Curvilinear Component Analysis, Visualization, Campus Net85目录目 录第一章 引言11.1 课题的研究背景11.2 课题的研究意义41.3 入侵检测防御技术研究现状51.

5、4 本课题的主要研究内容7第二章 入侵检测技术基础92.1 入侵检测分析92.2 入侵检测系统分类102.2 入侵检测系统基本模型152.2.1 IDES模型152.2.2 CIDF模型172.3 入侵检测系统工作流程182.4 入侵检测系统发展方向182.5 本章小结20第三章 可视化入侵检测系统分析与设计213.1系统功能需求213.2 系统性能需求223.3 入侵检测模型设计233.4 入侵检测系统框架设计253.5入侵检测系统结构设计263.5.1入侵检测数据管理子系统273.5.2入侵检测数据分析子系统283.6 本章小结33第四章 基于散乱点的可视化入侵检测算法设计344.1 检测

6、算法理论依据344.2 检测算法性能要求374.2.1 逼真度374.2.2 运算速度404.2.3 确定性404.3 主成份分析PCA算法414.4 曲线成份分析CCA算法444.5 PCA算法与CCA算法对比分析484.5.1 理论对比484.5.2 实验对比分析484.6 曲线成分分析CCA算法的改进554.7 传统CCA算法与改进CCA算法的对比分析574.7.1 确定性574.7.2 运算速度584.8 本章小结60第五章 可视化入侵检测系统实现615.1 系统开发及运行环境615.1.1 开发环境615.1.2 运行环境615.2 校园网可视化入侵检测系统部署615.3 可视化入侵

7、数据管理子系统实现625.3.1 数据包捕获模块实现635.3.2 数据提取模块实现665.3.3 事件分析数据库实现735.4 可视化入侵检测数据分析子系统实现745.4.1 用户行为建模与可视化建模实现755.4.2 异常检测模块实现765.4.3 数据绘制与显示模块实现765.4.4 安全响应模块实现775.4.5 可视化入侵检测查询模块实现795.5 可视化入侵检测系统实例测试835.5.1 测试过程835.5.2 结果分析845.6 本章小结85第六章 结论86致 谢88参考文献89第一章 引言1.1 课题的研究背景随着校园网的不断发展，如何保证网络信息安全已成为广大校园网运营管理人

8、员非常关心并热衷研究的一个课题。网络信息安全包括信息的存储安全和信息的传输安全，从信息系统的安全指标角度来说，就是对信息的可用性、完整性和机密性的保护。网络的安全威胁一方面来自外部，但更多的来自内部。校园网的用户绝大多数是一群富有攻击性的高素质学生，一方面他们的思想非常活跃、另一方面他们富有冒险性和探索精神（攻击性）。校园网的信息点分布于每个宿舍、每一个办公室和实验室，计算机病毒、不良信息资源和垃圾邮件总是试图侵害/威胁用户对网络资源正常的使用要求。对网络的威胁、攻击还包括：扫描、嗅探、信息流监视、会话劫持、口令破解、IP欺骗、木马、Ping of Death、SYN Flood、Smurf攻

9、击、电子邮件炸弹、DDOS以及信息战等1561315。对于网络安全来说，单纯的防火墙（Firewall）229技术暴露出明显的不足和弱点，如无法解决安全后门问题，不能阻止网络内部攻击（调查发现，50以上的攻击都来自内部）、不能提供实时入侵检测（Intrusion Detection）能力、对于病毒等束手无策等。因此很多组织致力于提出更多更强大的主动策略和方案来增强网络的安全性，其中一个有效的解决途径就是入侵检测。入侵检测是对计算机系统或网络计算机系统的运行状态进行监视，发现各种攻击企图、攻击行为或者攻击结果，以保证系统资源的机密性、完整性与可用性3。入侵检测是防火墙的合理补充，帮助系统对付网络

10、攻击，扩展了系统管理员的安全管理能力，包括安全审计、监视、进攻识别和响应，提高了信息安全基础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击的迹象。入侵检测被认为是防火墙之后的另一道安全闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。入侵检测从分析方法上4567，可分为误用检测（misuse detection）与异常检测（anomaly detection）两大类。误用检测方法建立入侵活动模型，一旦发现当前用户活动与入侵活动模型相吻合，就发出入侵警报。误用检测方法具有入侵误报率

11、（false positive）低的优点，但只能检测己知攻击，无法检测未知的新攻击。与误用检测不同，异常检测方法构造用户的正常行为模型，一旦发现当前用户活动背离正常行为模型，就发出入侵警报。异常检测致力于发现与正常行为模式（behavior pattern）不一致的用户活动，具有检测未知攻击的能力。因为Web应用系统中用户活动与具体应用有关，难以预测，导致经常有新的攻击类型产生，所以异常检测方法对保护Web应用系统安全具有重要意义，并在入侵检测系统（Intrusion Detection System, IDS）中占据重要地位。如图1-1所示，基于异常检测的入侵检测系统主要由日志采集、轮廓（p

12、rofile）创建、入侵检测与安全响应等模块构成739。日志采集模块以采集目标系统（target system,即被保护的系统）审计日志（audit log）的形式，获得用户活动信息。轮廓创建模块从日志采集模块获得历史日志记录，然后从日志中提取用户的正常行为模式，并创建用户的正常行为轮廓，用以指导入侵检测模块运行。入侵检测模块从日志采集模块获得记录当前用户活动的日志记录，然后比较当前活动与正常行为轮廓间的差异。如果当前活动背离正常行为轮廓，则怀疑当前活动异常，入侵检测模块将发出入侵警报。在发出入侵警报后，安全管理员根据组织的安全策略决定如何进行安全响应。图1-1 基于异常检测的入侵检测系统尽管

13、基于异常检测的入侵检测系统在保障传统应用系统安全时取得了较好效果，但Web应用系统与Internet环境的特点将导致传统入侵检测系统出现新的问题。首先，传统的基于异常检测的入侵检测系统一般被用于保障内部使用的计算机系统（例如，财务系统等）安全。这类系统具有严格的安全管理措施，以保证用户行为的规范性。因此，这类系统中用户行为是规范的、高度一致的、易区分的，构造正常用户行为轮廓较为简单。当将基于异常检测的入侵检测系统应用到开放的Internet环境中时，由于用户行为规范性得不到保证，新的问题随之产生。在开放的Web应用系统中，由于用户活动受约束少，不确定性强，导致用户行为一致性差，用户行为模式复杂

14、，难以区分不同的用户行为模式。因为新用户行为模式往往与老用户不一致，所以在传统的入侵检测系统中对新用户一般不进行入侵检测。在传统入侵检测系统中，新用户数目仅占很少一部分，所以这部分用户可以利用安全管理手段来监督。然而，在提供开放服务的Web应用系统中，新用户所占比例较大，甚至有可能超过老用户。同时，由于这些用户来自开放的Internet环境，无法用安全管理手段规范用户行为。另一方面，为保障Web应用系统安全，必须利用入侵检测手段监督新用户的活动。在现实的Web应用系统中，新用户比老用户的行为模式一致性更差，新用户的行为模式比老用户更加复杂。这就导致了Web入侵检测系统与保障Web应用系统安全的

15、入侵检测系统，必须具有区分复杂用户行为模式的能力。因此，如果将传统的入侵检测系统应用到Internet环境中，将导致入侵误报率居高不下，入侵检测性能低下。其次，传统应用系统处于一个封闭环境中，受外界干扰较少。然而，Web应用系统多处于开放的Internet环境中，易受外界环境影响。例如，当系统用户通过Internet访问Web应用系统时，鉴于部分Web应用系统无法获得用户的真实身份，入侵检测系统只能通过用户网络地址来辨识用户身份。由于受Internet中网关、代理服务器等网络设备地址转换的影响，入侵检测系统无法获得用户的真实网络地址。这样，网络环境的影响导致入侵检测系统无法区分用户主体身份。同

16、样，社会环境对于用户行为模式的影响也是显而易见的。Internet用户活动易受舆论宣传、经济环境、组织安全策略等社会大环境影响，导致在Web应用系统中显现出不同行为。传统的入侵检测系统仅考虑用户在系统中的活动，很少考虑用户所处外部环境。在传统应用系统中，外部环境对用户行为的影响非常小，可以忽略不计。但对处于开放环境的Web应用系统而言，外部环境影响巨大，在入侵检测时必须考虑外部环境因素。因为在这些系统中，仅考虑用户在系统中活动难以判断出用户活动是否入侵行为，所以如果在检测入侵时忽略外部环境因素，将导致入侵检测性能受影响。在实际系统中，Internet用户所处社会、网络环境等信息收集困难，部分信

17、息难以转变为数字化信息传递给入侵检测系统。因此，很少有入侵检测系统考虑外部环境因素。一旦将传统入侵检测系统应用到Internet环境中，系统的检测性能往往无法令人满意。最后，在传统入侵检测系统保护的目标系统中，用户数目一般在几十至几百，被监控的资源或命令数目约为几十。然而，Web应用系统中无论用户数目还是被监控资源与命令数目都远多于传统的目标系统。如果是系统层日志数据（例如，系统调用日志数据），审计事件数目将会更加巨大。因此，Web入侵检测系统必须具有处理海量日志数据的能力。如果直接使用传统入侵检测系统来保护Web应用系统，运行效率可能会成为影响系统实施的严重瓶颈。综上所述，Web应用系统在I

18、nternet环境中具有了新特点：用户行为一致性差，行为模式复杂；用户行为易受外界环境影响；系统日志是海量数据。上述特点对入侵检测系统的检测性能和运行效率提出了新的挑战。为提高入侵检测系统的检测方法对不同目标系统的适用性，本文将信息可视化（Information Visualization）引入到入侵检测领域。信息可视化是一种重要的人机交互手段,可将计算机的数字信号转换为人类能感知的可视信号。将信息可视化应用到入侵检测领域可以为网络管理员提供直观可视的用户活动等信息，以提高安全专家、安全管理员与入侵检测系统之间的交流效率，强化人机协同，以达到减少误报率和提高检测性能。在计算机网络的今天，可视化

19、控制台可大幅提高人机交互效率。因此，利用可视化算法，可为安全专家提供直观而可视的点集结构信息，从而辅助安全专家更加合理地选择聚类方法来创建轮廓，最终达到提高轮廓创建准确性之目的。1.2 课题的研究意义由于Web应用系统中用户行为一致性较差，导致用户行为模式复杂。己有入侵检测研究成果显示，对不同应用系统使用相同检测方法检测性能各不相同。这表明，对不同用户行为模式采用相同检测方法会有不同的检测性能。如何自适应地选择不同检测方法以使检测性能最佳，一直是入侵检测研究领域的一大难题。Internet环境使该问题更加复杂化。上述选择问题的最大难点在于对用户行为模式的认知方面，要计算机自动地去辨识复杂的用户

20、行为模式是一件非常困难的事情。由于人类具有很强的模式识别能力，如果能在选择检测方法时利用人类杰出的认知能力，可有效提高入侵检测性能。例如，目前聚类分析（cluster analysis）方法己被应用到轮廓创建过程中1213，选择何种聚类方法直接影响到行为轮廓的准确性。选择聚类方法前需辨识点集结构，Internet环境造成了点集拓扑结构复杂，难以由计算机自动辨识。由于人类对复杂拓扑结构具有强大的辨识能力，考虑由安全专家辨识点集结构，选择合适的聚类方法应用到轮廓创建过程中。另一方面，由于Web应用系统中用户行为易受外界环境影响，入侵检测系统需要结合外界环境因素（例如，安全策略）只能正确认识用户行为

21、规律。在实际系统中，与外界环境有关的知识难以传递给入侵检测系统，导致了入侵检测时信息来源不完整，易出现误报漏报现象，严重影响检测性能。安全专家与安全管理员具有丰富的社会环境、网络环境、组织安全策略等方面知识，如果能够让入侵检测系统借助安全专家与安全管理员的知识，作为用户在目标系统中活动信息的有益补充，则可为入侵检测系统提供全面而准确的知识，有助于提高入侵检测性能。例如，对于学校图书馆而言，通过非法的代理服务器访问图书馆资源是一种入侵行为，而通过合法的代理服务器访问则为正常行为。但自动化的入侵检测系统只能区分用户是否通过代理服务器访问图书馆Web应用系统，无法确认该次访问是否合法。而安全管理员则

22、可根据自身对网络地址分配等方面的知识，轻易区分出该次访问是否合法。上述内容充分说明了在入侵检测系统中人机交互的重要性。信息可视化是一种重要的人机交互手段。信息可视化可将计算机的数字信号转换为人类能感知的可视信号，提供给人类。实践证明，可视化的人机接口能向人类提供直观的信息，便于人类感知计算机系统中的数字信息，从而提高人与计算机之间的交流效率，进而提高整个系统的上作效率。将信息可视化应用到入侵检测领域可向安全专家与安全管理员提供直观可视的用户活动等信息，以提高安全专家、安全管理员与入侵检测系统之间的交流效率，强化人机协同，以达到减少误报率、提高检测性能之目的。这样就要求可视化入侵检测系统（Vis

23、ual Intrusion Detection System, VIDS）具有实时检测、报警、动态安全响应和数据显示和图像绘制等功能，能够很好地帮助网络管理员完成对网络状态的把握和安全的评价。可视化入侵检测系统采用改进的可视化入侵检测算法实现可视化建模，然后利用直观的图形来显示入侵分析的结果，并根据结果进行异常检测，给出警报信息，安全管理员根据组织的安全策略决定如何进行安全响应，对于保护Web应用系统的网络安全具有重要意义。1.3 入侵检测防御技术研究现状1980年4月James PAnderson为美国空军做了一份题为Computer Security Threat Monitoring a

24、nd Surveillance（计算机安全威胁监控与监视）的技术报告，第一次详细的阐述了入侵和入侵检测的概念。入侵检测是对（网络）系统的运行状态进行监视、发现各种攻击企图、攻击行为或者攻击结果，以保证系统资源的机密性、完整性与可用性31011。自从James P. Anderson于1980年在文献 33738中提出入侵检测的概念后，入侵检测领域的研究取得了长足的发展。入侵检测领域己有的研究主要围绕入侵检测模型、入侵检测方法、入侵检测策略、入侵检测系统架构及实现机制等方面展开。在众多研究中，入侵检测方法的研究一直居于重要地位。如文献4所述，目前己有的入侵检测技术主要包括异常检测、误用检测两大类

25、。异常检测通过定义正常行为轮廓表示正常用户行为模型，检测当前用户活动与正常用户行为模型之间的背离程度。如果有明显背离发生，则认为当前用户活动是异常活动，发出入侵警报。误用检测从己知的入侵活动中提取出攻击特征，并用当前用户活动匹配攻击特征。如果匹配，则发出入侵警报。无论是异常检测采用的方法还是误用检测采用的方法都己被广泛应用到各种入侵检测系统中，并取得了巨大成功。然而，当检测方法应用到Internet环境中Web入侵检测系统时，或多或少遇到了检测性能不稳定的问题，即遇到了适用性问题。为提高检测方法对不同目标系统的适用性，将信息可视化引入到入侵检测领域，以提高入侵检测性能。在文献12中，Lam等人将信息可视化引入到入侵检测中，在联分析（Correlation Analysis）的基础上，利用因子分析（Factor Analysis）数学关工具，提出了基于主成分分析PCA （Principle Component Analysis）的可视化入侵检测算法（Visualization Algorithm in Intrusion