日志管理和分析系统的设计与实现资料下载.pdf

1、；【志分析模块、日志存储模块、报表生成模块和前台w e b 应用程序几个模块构成，满足了日志管理和监控的功能，为网络安全管理奠定了基础。关键宇：日志；网络安全；审计；日志管理火连理I 大学专业学位硕士学位论文T h eD e s i g na n dI m p l e m e n t a t i o no fL o gM a n a g e m e n ta n dA n a l y s i sS y s t e mA b s t r a c tW j t ht h em o r ei n c r e a s i n gd e V e l o p】I l e mo fn e t w o r k

2、t e c l l l l o l o g ya 1 1 ds c a l e s，t h el a r g e rs c a l e so f 印p l i c a t i o ns y s t e m 柚dm o r ec o m p l e xn e 旧o r ks 仃1 l c t I l r e，w h i c hc a u s e sm o r ed j m c u m e si nm a n a g i n gn e t w o r ke v e n t sa n dn e t w o r ke q u i p m e n t s T h ec o m p l 镊n e 附o r

3、 k印p l i c a t i o ne n V i r o m e n ta n dV 撕o u sw a y so fa t t a c ka I l di n v a s i o nm a l（e st h ei s 0 1 a t e ds e c 嘶t ye q u i p m e md i 伍c u l tt od e a lw i t l l T h et e n d e n c yo fn e t w o r ks e c u r i t yd e v e l o p m e n ti nm ef I l t u r ci st op r o v i d eu n j t e

4、 dw h 0 1 ep l a t f o mf o rV 撕e dn e t、o r ka sw e Ua ss e c u r i t ye q u i p m e n t T h ec o n c e n t r a t e dm a n a g e m e n ta n da u d i to fn e 铆o f ke v e n t si st h em o s ti m p o r t a n to fa 1 1 V a r i e dn e 撕o r ke q u i p m e n t，o p e r a t i o ns y s t e m，a p p l i c a t

5、i o ns e r v i c e，a p p l i c a t i o ns y s t e mm a yp r o d u c el o t so fl o gd a t a s T h e s el o gd a t 塔w h i c hr e c o r ds y s t e ma I l dn e 帆o r ke v e n t sa r ei m p o r t a n td a t a so fs e c 嘶t ya u d i t T h e s el o gd a t a sp l a y sa J li m p o r t a n tm l ei nr e c o r

6、d m g，t e s t i n g，a 1 1 a l y z i n ga n di d e m i f n gv a 五o u sk i n d so fs e c u r i t ye v e n t sa n dt h r e a t C o n s i d 西n go fn e 蜥o r ks e c u r i t ya n dn e t w o r km a n a g e m 锄t，t 1 1 ep a p a e rd e s i g I l e dl o gm a l l a g 锄e I l ts y s t e m D u r i n gt h ep m c e s

7、 so fs y s t e md e s i 印i n ga n dr e a l i z i n gf i r s ta I l a l y z e st h eu s e 血l t e c h n o l o g yo f1 0 9m a n a g e m e I l ts y s t e m，t h e n1 0 9f o m l a t s w i n d o w so p e r a t i n gs y s t e I I le v e m sl o g，U N L i n u xl o ga sw e l la su s u a lf i r e w a l l 王o g D

8、 e s i 印a 1 1 dr e“i t yo fl o gm a n a g e l T l e n ts y s t e ma r ei l l u s t r a t e da tl e n 垂h，t h es y s t e mp r o V i d e sv a l i dd a t af o rn e t w o r ks e c u r i t ya 1 1 dn e t w o r km a n a g e m e n t T h ew h o l es y s t e mi sm a d eo fl o gr e c e i V e rm o d u l e，l o gp

9、 r o c e s s o rm o d u l e，l o gs t o r a g em o d u l e，r 印o r te n g i n em o d u l e，w e b 印p l i c a n o nm o d u l eo w n st h ef h n c t i o no fl o gm a n a g e m e n ta n dm o n i t o r 抽ga n dl a y st h eg r o u n d w o r ko f n e 附o r ks e c u r i t yK e yW o r d s：L o g；N e 铆o r kS e c u

10、 r i 堪；A u d i t；L o gM 加a g e m e n t独创性说明作者郑重声明：本硕士学位论文是我个入在导师指导下进行的研究工作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。大连理I 大学专业学位硕士研究生学位论文大连理工大学学位论文版权使用授权书本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送交学位

11、论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名：盘垒导师签名：逃生兰!年兰月上日人连理工大学专业学位顶十学位论文1 绪论1 1 研究背景11 1 计算机网络在企业中的地位和作用计算机网络出现于5 0 年代，当时随着计算机应用的发展和硬件价格的下降，个部门或一个大公司常常拥有多台计算枫系统，这些计算机系统分布在不同的地点，它们之间需要进行信息交换，于是出现了一种以传输信息为主要目的的用通信线路将计算机系统连接起来的计算机群，这就是计算机网络的低级形式，被称为计算

12、机通信网络。到目前为止，已经历了一个从简单到复杂、从低级到高级的发展过程。计算机网络发展历史虽然不长，但速度很快，它的迅速发展，使人类进入网络经济时代。世界经济网络化的发展速度使习惯于正常工作和生活的人们始料不及。2 1 世纪新经济的主要特征是信息技术的广泛采用，在此环境下计算机网络在企业中的地位越来越重要。正如比尔盖茨在未来之路里写到的“一个传统的公司，如果今后五年内它还不是一个网络化的公司，那它就将不再是公司”。驱动网络在大型企业中应用和发展的最重要的两个因素是：（1）业务的全球化在业务全球化的条件下，通信技术，特别是计算机网络技术也已经成为企业基础设施的一个基本组成部份而不再是一种奢侈的

13、要求。从某种意义上说，网络的效率直接影响到了企业的整体效益。因此，企业的全球化无疑反过来对网络技术提出了更高的要求，推动技术的发展。（2）电子商务电子商务体现在两个方面：对内，生产、管理过程的电子化；对外，营销、合作和服务的电子化。电子商务不仅仅要求企业某种业务的电子化或者是某个部门的电子化，而要求企业运行从原料的采购到售后的服务业务全过程的电子化。业务过程电子化要求建立一一个对内能提供高效生产和管理的平台，对外能与合作伙伴，客户建立紧密联系的网络，计算机网络在此过程中具有不可或缺的作用。目前包括E R P，E D I，c A D c A M 等电子化生产管理、工程设计和贸易工具已经在各类企、

14、l k 中得到了广泛的应用。随着企业信息化进程的进一步深入和发展，计算机网络在企业中的应用越来越广泛，而企业对计算机网络的依赖性则越来越强。如何保证计算机网络和设备的正常运行是企业信息化进程中的重要环节。日志管理和分析系统的设计与实现1 1 2 加强网络安全的紧迫性计算机网络的发展，特别是I n t e r n e t 的迅速膨胀，带来了信息领域的空前繁荣，但是在提高信息利用率的同时，也给计算机网络的安全性带来了前所未有的挑战，计算机病毒、垃圾邮件、黑客入侵及木马控制等也给互联网的运行系统、基于互联网的重要应用系统和广大互联网用户带来了越来越多的麻烦。计算机病毒和垃圾邮件已经成为互联网时代的两

15、大杀手，而邮件病毒更甚，因为它不但能产生垃圾邮件，而且还能感染电脑、阻塞网络，造成更大的损失。其次，黑客入侵和攻击同样是网络安全人员需要面对的一个棘手问题。随着目前行业网络应用的普及，许多行业对计算机网络对依存度也越来越高。若入侵者通过互联网渗透到内部网络，机密数据完全有可能遭到破坏或盗取。尽管网络防火墙在一定程度上降低了用户的计算机网络被入侵的可能性，但是这并不能完全保证数据资料的安全。因此，为了保证互联网的健康发展，网络安全依然是首要问题。在网络防御方面，人们所要碾临的安全问题往往是难以预测的，因此需要网络安全人员保持警惕，来将网络风险降低至最小程度。互联网存在的安全隐患越来越多，加快网络

16、安全防范工作已经刻不容缓。目前采用的安全措施包括：用备份和镜像技术提高数据的完整性、防毒、补丁程序、提高物理安全、构筑I n t e r n e t 防火墙、加密、日志分析、提防虚假的安全等。这些对加强网络安全起到了一定的作用。不过反病毒措施落后于病毒的发展速度已经是不争的事实，随着技术的进步，若仅仅依靠给系统打补丁、安装网络防火墙等常规措施，人们将长期处于被动地位。因此解决网络安全问题的关键就在于未雨绸缪，争取主动，坚持技术与管理并举发展。如何能在问题发生前找到是关键，这就需要在事前监测各种事件，能对事件进行判断，做出及时的反应。网络中各种设备故障和软件故障，在日志中都有反映，及早发现能大大

17、提高了网络的安全性。日志分析是通过对各种日志文件进行严密监控和分析来识别出网络安全事件，能够达到在安全事件发生前做出响应的目的，是网络安全防御系统的重要组成部分，在网络安全中起着重要作用n”。1 1 3 对日志进行管理和分析的重要性在网络的安全机制中，对网络系统中的安全设备、网络设备和应用系统的运行状况进行全面的监测、分析、评估是保障网络安全的重要手段，而对同志文件的管理和分析对了解各种网络设备的运行状况有着非常重要的作用。日志用来描述操作系统、应用程序和用户的行为，监控用户对系统的使用情况，记录系统中的异常行为。事先监测日志数据以寻找可疑的活动迹象的能力或者在发生安全事件时分析同志数据是非常

18、有价值大连理I：大学专业学位硕士学位论文的。当系统被攻击时，通过分析R 志町以找出当前的系统漏洞，确定网络安全中的薄弱环节，分析和定位可能出现的攻击，从而采取相应的措施加强网络控制。在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录原封不动进行恢复。每个日志文件包含许多信息，如果知道如何理解这些信息，更重要的是知道如何从边界防御的角度来分析这些数据，那么日志数据的价值将无法估量。同样在网络安全方面也有着十分重要的作用，它们可以为事故处理、入侵检测、事件关联以及综合性的故障诊断等各神网络安全事件提供帮助。（1）事故处理网络日志文件最明显的用处是提供可用于事故处理的数据。例如：如果

19、网络管理员收到一个关于设备已遭到损害的报告，可以使用网络日志文件来判断哪个主机或哪些主机应该对该攻击负责，以及攻击者可能使用了哪些攻击方法。当w e b 页面遭到破坏时，系统管理员可以查询该w e b 服务器的日志，还可以查看其它设备的日志，恶意流量可能经由这些设备。通过这些设备的日志可以提高与此攻击和攻击者有关的其它信息。在事故处理中，网络日志文件的价值不可估量。此外，在事故处理过程中，难确保存的网络日志文件可以为法庭辩论提供活动证据。（2）入侵检测入侵检测是主动使用曰志文件。通过连续地监控日志文件条目，当某人正在对一个网络进行扫描或执行探察，或者一个实际的事故正在发生时，可以获得与此相关的

20、通知，这样做有助于事故处理；当检测到一次重要的入侵，并且获得此入侵事件的报告时，就已经获得了需要用来就这个事件进行事故处理的许多数据。（3）事件关联在执行事故处理和入侵检测的过程中，事件关联十分有用。事件关联是指同时使用来自各种设备或者应用程序的多个日志。可以通过事件关联来确定发生了什么事情。假设找到内部路由器同志上的一条可疑目录，该条目涉及到一个外部主机，于是搜索网络防火墙的曰志中提供关于该行为的更多信息的条目。事件关联的另一个用处是将事件进行彼此关联，如果电子邮件服务器收到损害，就可搜索来自路由器、防火墙和其它的设备的各种网络日志，以此来寻找任何与该损害事件有关的证据，如建立达到邮件服务器

21、的其它连接尝试，或者建立达到网络上的其它主机的连接尝试，这些邮件服务器和 机是同一攻击者的目标。（4）综合故障渗断网络同志文件在进行综合故障诊断时可以提供帮助，当设计到连接性故障诊断时更是如此。假设某个用户抱怨应用程序A B c 不能从外部服务器下载数据。通过获取日志管理和分析系统的设计与实现此用户机器的I P 地址，然后找出什么时候使用这个应用程序的，就可以快速搜索防火墙的日志，从日志中寻找为建立所需连接而进行的（被拒绝的）尝试。如果防火墙对所有允许的连接也进行了嗣志记录，而且能够从日志中找到此远程站点的有效连接，那么，从这个实事中可以看出问题最有可能与远程服务器或应用程序A B C 有关，

22、而不是同自己的边界防御配置有关。同志对于网络安全的作用是显而易见的，无论是网络管理员还是黑客都非常重视目志，一个有经验的管理员往往能够迅速通过日志了解到系统的安全性能，而一个聪明的黑客会在入侵成功后迅速清除掉对自己不利的R 志。无论是攻还是防，日志的重要性由此可见。而且由于目前的网络攻击日趋复杂和隐蔽，因此继续将正常的通信流量与网络攻击区分开来也就变得越来越困难了。最好而且最简便的方法就是定期去检查各个网络设备的日志，以便查找和预测攻击可能发生的异常事件，而不是坐等系统出现故障或危害真正出现时再采取措施。而在网络中，每天都产生大量的日志数据，这些日志数据详尽记录了网络设备的运行状态和网络中发生

23、的各种事件，但数据纯粹是数据，它本身并没有能力将这些数据转换为有用的信息，而且不同的网络设备产生的R 志文件格式和存储的位置各不相同，许多管理员为了了解系统运行状况，不得不定期审查每一个系统的日志文件，这不仅费时且会影响其它工作。而且由于产生的臼志数据量往往很庞大，如果没有一个简单的：具进行查询的话，分析这些日志也显得非常困难。因此，对网络中的所有的日志文件包括w i n d o w s 系统事件日志、应用服务日志、u n i x 几i n u x 服务器日志、防火墙日志和其它应用工具的同志文件进行集中管理和分析对于维护系统状况、监视系统活动及维护系统安全至关重要3。目前日志存储和数据处理方面

24、的需求在不断增长，而且企业常常是将其作为基础设施来规划，日志管理已经成为世界上I T 管理的新趋势。国外一些日志管理厂商在这方面做的早，技术也比较成熟，在硬件和软件方面均有对应的产品，因而它们的产品在市场上占有绝对的优势。在软件方面D o r i a nS o f t w a r ec r e a t i o n s、P r i s mM i c r o s v s t e m s和O m n i t r e n ds o f t w a r e 在技术上都很有实力；硬件方面做的比较成熟的有L o g L o g i c。虽然和国外产品相比还有一定的差距，但国内得一些日志管理厂商例如天融信在国

25、内市场也取得了相当得成果，并逐渐得到众多用户的认可。1 2 日志管理和分析系统的目标和内容由于网络中不同的操作系统、应用软件、网络设备和服务产生不同的日志文件，即使相同的服务和I I s 也采用不同格式的日志文件记录R 志信息，而且主机的日志数据可大连理工大学专业学位硕士学位论文能包含成千上万的日志信息。要想从如此大的数据量中筛选到有用的信息，靠人工来进行l i=：l 志分析是不现实的，因此需要专用的F i j 志管理和分析系统束对日志文件进行集中管理和分析。日志管理和分析系统是将日志管理技术应用在较大规模的网络上，实现对网络设备同志文件集中管理和分析的系统。完善的日志管理和分析系统将日志数据

26、收集代理分布到各个网络设备中，有统一的控制和数据存储及查询界面，在对事件监控信息的集中、关联分析的基础上，有效的实现对全网的安全预警，能够对网络安全事件做出实时预警的系统。日志管理和分析系统从基本功能上通常包括以下几方面的内容：（1）日志数据收集，方便管理员收集各种网络设备上的日志数据，将日志数据收集代理安装在需要监控的网络设备和服务器上，实时监控系统事件，在有新的事件被记录时被唤醒。并且根据设定的条件对日志数据进行过滤，将过滤后的日志数据转换成统一的格式后上传到同志服务器进行集中存储和分析。（2）监视网络设备中的各种服务使用情况，使管理员可以方便的查看网络设备各种服务是否正常启动，出现异常时

27、可以报警提醒管理员。（3）用户审计，查看用户的登录情况，是否有非法登录或者入侵。（4）用户自定义的监视，管理员可以自定义一些监视条件，例如某个网络设备的使用情况。（5）日志数据集中存储和备份，可以将日志数据集中存储于日志服务器中，并对日志数据库进行定期备份，以供长期的分析和调查。（6）方便使用，系统采用B s 架构，管理员使用I E 等浏览器就可以方便地对曰志数据进行查询和对系统进行各种配置 7 _ 9】。1，3 本论文研究的内容本文描述了日志管理的现状以及实现日志管理的各种方法，然后详细分析了目前网络设备所支持的各种日志格式和内容，采用数据库技术和J 2 E E 框架设计和实现了一个日志管理

28、和分析系统。论文首先论述了日志管理和分析系统实现过程中所用的技术，数据库、数据挖掘、正则表达式、J 2 E E 框架和S t r u t s 框架。接着详细分析了网络设备产生的各种F 1 志格式，介绍了同志格式分类，通过举例描述了开志各个字段的含义。在系统整体设计部分描述了系统的基本设计目标和整体设计，对系统的整体架构做日志管理和分析系统的设计与实现了一个概要描述。在系统详细设计与实现部分则详细阐述了日志管理和分析系统的各个模块详细设计和具体实现，最后对整个系统的设计进行总结并提出了系统需要改进的地方和后续的工作。大连理工大学专业学位硕七学位论文2 相关技术综述本章简要论述了系统实现过程中所需

29、要的各种技术和框架，系统是以J 2 E E 和s t r u t s架构。由于系统中的日志文件的数据量非常的庞大，为了从这些庞大的信息中提取出对有用信息，需要采用数据挖掘的相关技术对日志数据进行筛选和解析，日志的分析采用了筛选法和特征匹配法，利用 l y s Q L 数据库输入了L i n u x、w i n d o w s 环境下的各种系统和应用的日志文件数据。因此本章主要介绍了j 2 E E、s t r u t s、正则表达式和数据挖掘技术。2 1J 2 E E 平台J a v a2P l a t f o r m，E n t e r p r i s eE d i t i o n（J 2 E

30、 E）是s U N 公司提出的在分布式环境中的一种体系结构，J 2 E E 平台提供了一个多层结构的分布式的应用程序模型，该模型具有重用组件的能力、基于扩展标记语言（x M L）的数据交换、统一的安全模式和灵活的事务控制。不仅可以比以前更快地发表对市场的新的解决方案，而且独立于平台的基于组件的J 2 E E 解决方案不再受任何提供商的产品和应用程序编程界面（A P I s）的限制m。1”。2 1 1J 2 E E 核心技术图2 1 描述了J 2 E E 部署的各个部件。图2 1J 2 E E 框架F i g 2 1J 2 E EF I 甚m e w o r k日志管理和分析系统的设计与实现（1

31、）J D B c（J a v aD a t a b a s eC。n n e c t i v i t y）：j D B cA F J I 为访问不同的数据库提供了一种统一的途径，像O D B c 样，J D B c 对开发者屏蔽了一些细节问题，另外，J D c B 对数据库的访问也具有平台无关性。（2）R M I（R e m o t eM e t h o dI n v o k e）：正如其名字所表示的那样，R M I 协议调用远程对象上方法。它使用了序列化方式在客户端和服务器端传递数据。R M I 是一种被E J B 使用的更底层的协议。（3）J N D I（J a v aN a m ea n dD i r e c t o r yI n t e r f a c e）：州D IA P I 被用于执行名字和目录服务。它提供了一致的模型来存取和操作企业级的资源如D N s 和L D A P，本地文件系统，或应用服务器中的对象。（4）J M s（J a v