Web服务器日志取证分析方法.docx
《Web服务器日志取证分析方法.docx》由会员分享,可在线阅读,更多相关《Web服务器日志取证分析方法.docx(11页珍藏版)》请在冰点文库上搜索。
甘肃政法学院
本科学年论文(设计)
题目Web服务器日志取证分析方法
公安技术学院学院网络安全与执法专业
2015级网络安全与执法本科班
学号:
201583140138
姓名:
薛博文
指导教师:
王春兰
成绩:
________________
完成时间:
2017年11月
目录
摘要 1
关键词 1
Abstract. 1
Keywords 1
一、Web日志分析原理 1
二、常见WebServer日志知识介绍 2
(一)IIS日志文件格式 2
(二)NCSA公用日志文件格式 2
(三)ODBC日志记录格式 2
(四)W3C扩展日志格式 3
三、常见Web攻击形态 3
(一)SQL注入攻击尝试日志 3
(二)Webshell操作日志 4
(三)SQL注入蠕虫插入恶意代码日志 4
四、Web日志分析思路和方法手段 4
(一)Web日志取证 5
(一)Web日志分析思路 6
(二)Web日志分析工具 6
五、结论 7
参考文献 8
Web服务器日志取证分析方法
薛博文
摘要:
随着Internet广泛普及,网站数量也急剧增长,网上交易也被普遍接受,随之而来黑客攻击、盗取机密等网络犯罪案件越来越多,因此监控网站的运行状态和提高网站的服务水平是必不可少的。
通过对Web服务器的日志文件进行分析取证,能有效的掌握运行情况、加强对整个网站及其内容的管理和维护。
本文对Web服务器的日志的方式种类及分析方法进行讨论。
关键词:
Web服务器;日志;取证分析
Webserverlogforensicsanalysismethod
XueBowen
[Abstract]WiththewidepopularityofInternet,thewebsitethenumberisgrowingsharply,andonlinetradinghasbeengenerallyaccepted,followedbyhackerattacks,networkcrimessuchasstealingsecretsmoreandmore,somonitoringtherunningstateforsiteandimprovetheservicelevelofthewebsiteisindispensable.ByanalyzingthelogfilesoftheWebserver,itcaneffectivelycontroltheoperationsituationandstrengthenthemanagementandmaintenanceoftheentirewebsiteanditscontents.ThisarticlediscussesthetypesandmethodsofWebserverlogging.
[Keywords]TheWebserver;log;forensicsanalysis
一、Web日志分析原理
Web服务器日志记录了Websever接收请求以及运行状态的各种原始信息。
通过对这些信息的分析能有效的掌握服务器的运行状态,诊断差错事故、发现和排除错误、了解访问分布等,加强系统的维护和管理。
在WWW服务中,服务的模型如图1。
图1服务器模型
(1)客户端向Webserver发出请求,根据HTTP协议,这个请求中包含了客户端的IP地址、浏览器类型、请求的URL等一系列信息。
(2)服务端收到请求后,根据请求将客户要求的信息内容返回到客户端。
如果出现错误,那么返回错误代码。
(3)服务器端将访问信息和错误信息记录记录到日志里。
二、常见WebServer日志知识介绍
目前常见的WEB日志格式主要由两类,一类是Apache的NCSA日志格式,另一类是IIS的W3C日志格式。
NCSA格式又分为NCSA普通日志格式(CLF)和NCSA扩展日志格式(ECLF)两类,目前最常用的是NCSA扩展日志格式(ECLF)及基于自定义类型的Apache日志格式;而W3C扩展日志格式具备了更为丰富的输出信息,但目前的应用并不广泛。
本文笔者着重介绍:
IIS日志文件格式、NCSA公用日志文件格式、ODBC日志记录格式、W3C扩展日志文件格式四种。
(一)IIS日志文件格式
IIS格式固定的ASCII格式。
包括一些基本项目,如用户的IP地址、用户名、请求日期和时间、服务状态码和接收的字节数。
另外,IIS格式还包括详细的项目,如所用的时间、发送的字节数、动作和目标文件。
这些项目用逗号分开,使得格式比使用空格作为分隔符的其他ASCII格式更易于阅读。
时间记录为本地时间。
其格式如图2所示。
图2IIS日志文件格式
(二)NCSA公用日志文件格式
(美国)国家超级计算技术应用中心(NCSA)公用格式是一种固定的ASCII格式。
NCSA公用格式记录了关于用户请求的基本信息,如远程主机名、用户名、日期、时间、请求类型、HTTP状态码和服务器发送的字节数。
项目之间用空格分开;时间记录为本地时间。
其格式如图3所示。
图3NCSA公用日志文件格式
(三)ODBC日志记录格式
ODBC日志记录格式是对符合开放式数据库连(ODBC)的数据库(MicrosoftAccess或MicrosoftSQLServer™)中一组固定的数据属性的记录。
记录的某些项目中包含有用户的IP地址、用户名、请求日期和时间(记录为本地时间)、HTTP状态码、接收字节、发送字节、执行的操作和目标。
对于ODBC日志记录,必须指定要登录的数据库,并且设置数据库接收数据。
(四)W3C扩展日志文件格式
W3C扩展格式是一个包含多个不同属性、可自定义的ASCII格式。
可以记录对您来说重要的属性,同时通过省略不需要的属性字段来限制日志文件的大小。
属性以空格分开。
时间以UTC形式记录。
Web服务器日志默认保存位置:
C:
\WINDOWS\system32\LogFiles
其格式如图4所示。
图4W3C扩展日志文件格式
从日志文件提供的信息中对访问时间段、访问请求URL、状态代码、访问者的浏览器类型能信息进行统计和分析,就可以对整个网站有一个数字化、精确的认识,从而对网站的设计和内容进行改善和调整,使之更好地提供服务。
三、常见Web攻击日志形态
(一)SQL注入攻击尝试日志
SQL攻击利用的是特定页面代码的漏洞,在探测到漏洞后后继的攻击就会利用该页面进行,因此在日志统计中将表现出某个IP地址对特定页面的请求数相当高。
SQL攻击后日志会产生相应的记录,如图5所示。
由SQL注入攻击的本质可知攻击者提交的请求中一定包含着符合SQL语法要求的SQL语句。
SQL语句的语法要求关键字和参数之间必须使用空白符分割因此在SQL攻击的请求参数中必将出现空白字符。
另外SQL注入攻击除了探测漏洞之外其他步骤(比如探测字段内容)中使用的SQL结构都是比较复杂的,越复杂的SQL语句中空白字符也越多。
根据注入方法中利用的SQL语句特点,在探测漏洞的SQL语句中出现2个空白字符在探测表及字段名称的语句中至少出现5个空白字符,探测字段长度和内容的语句中则更多。
因此,在请求字符串中出现大量的空白字符是SQL注人攻击行为的一个重要特征。
图5SQL攻击后日志形成的记录
分析其中一部分:
访问方法:
GET
访问资源:
/shqj/Customer/Product/List.aspx
客户端提交参数:
SearchKey=MemberPrice&SearchKeyword=smt%'%20and%20(SELECT%20SUSER_NAME())='sa';BACKUP%20DATABASE%20dsis2008%20TO%20DISK%20=%20'd:
\dbBackTest.bak';--
端口号:
80
特征:
%20AnD%201=1 %20AnD%201=2
(二)Webshell操作日志
使用Webshell一般不会在系统日志中留下记录,但是会在网站的web日志中留下Webshell页面的访问数据和数据提交记录。
日志分析检测技术通过大量的日志文件建立请求模型从而检测出异常文件,称之为:
HTTP异常请求模型检测。
例如:
一个平时是GET的请求突然有了POST请求并且返回代码为200、某个页面的访问者IP、访问时间具有规律性等。
Webshell页面的访问数据和数据提交记录如图6所示。
图6Webshell页面的访问数据和数据提交记录
特征:
Action=filesystem、fsAction=
(三)SQL注入蠕虫数据库插入恶意代码日志
通过SQL注入,可以实现蠕虫,对每个页面插入恶意代码,适用与SQLServer
SQL注入蠕虫数据库插入恶意代码日志记录如图7所示。
图7SQL注入蠕虫数据库插入恶意代码日志记录
特征:
DeClArE%20@eXeC(@vArChAr( 、/**/@
四、Web日志取证与分析方法手段
确定时间
分析攻击
确定特征文
快速搜索
状态过滤
类型过滤
IP地址过滤
Web日志分析思路图
(一)Web日志取证
(1)获取和查看Web服务器、应用服务器、数据库服务器的日志文件。
日志是涉网犯罪(尤其是针对Web等网络应用服务的案件)的重要证据来源。
(2)识别异常的应用行为。
包括客户端的异常输入行为、异常的Web访问趋势;在Web取证过程中,能否识别异常的用户行为是能否获取有效线索的关键。
(3)异常引用(referrers)流量。
在Web取证中经常会使用流量分析技术,特别是一些拒绝服务攻击中,往往能从中分析出确切的攻击时间。
(4)访问中Cookie的变化情况。
服务器中应用服务设计不同,产生的Cookie交换信息也不同。
(5)跟踪到的客户端计算机的调查取证。
针对Web应用的网络攻击必然包括客户端和服务器端,有时在客户端上提取的证据能更加准确地反映犯罪事实。
例如,在客户端上提取的上网历史、缓存、Cookie和删除记录。
(6)因特网的缓存。
取证过程中一些涉及到的网页和站点应用经过一段时间后,已经被删除或下线,只能从删除数据中恢复网络应用程序或者从因特网的缓存中获取。
(7)其他网络设备。
Web取证分析不是一个孤立的系统,其访问日志和流量记录可能涉及到路由器、防火墙、代理服务器等网络节点和设备。
这些设备的日志可以和Web的日志进行综合相关分析,以更好地恢复Web历史事件。
(二)Web日志分析思路
(1)人工分析,人工对日志进行查看,查找可疑的日志信息。
(2)利用正则表达式,快速匹配特定数据的日志。
\w #匹配包括下划线的任何单词字符。
等价于'[A-Za-z0-9_]'
\d#匹配一个数字字符。
等价于[0-9]。
+#匹配前面的子表达式一次或多次。
(3)过滤日志文件
>typeapacheaccess.log|find“POST/“>post.tx
#过滤所有POST请求
>typeapacheaccess.log|find“212.1.23.4“>ip.txt
#过滤212.1.23.4IP地址的所有请求
(4)统计分析,各类分析工具,统计包括URL数量、成功失败请求、客户端分布等。
(三)Web日志分析工具
(1)Logparser
LogParser是微软免费强大的日志分析工具,具备通用的日志分析的能力,学会使用此款工具,就能够实现对windows系统日志,iis、apache、tomcat、nginx日志进行分析。
LogParser在Dos环境中运行,如图7所示。
图8LogParser使用界面
通过文件名定位攻击者ip
logparser-o:
datagrid"select*fromex*whereTO_LOWERCASE(cs-uri-stem)like'%dj888.aspx%'"
通过ip跟踪整个攻击流程
logparser-o:
datagrid"select*fromex*wherec-ip='117.9.38.246'"
(2)WebLogExplorer
WebLogExplorer可以统计分析Apache、IIS网站主机的.log纪录文件,能够将多种关于网站浏览者的统计资料彻底解析,包括:
参观人次、动态状况、文件存取状态、参照网页、搜寻引擎、错误、来访者国家、网站搜寻字符串/词组等等。
WebLogExplorer应用界面如图8所示。
图9WebLogExplorer应用界面
五、结论
Web应用不断发展使得相关的案件的比例不断上升。
本文对Web服务器日志文件的类型及分析取证进行初步的研究和总结,所涉及取证技术基于静态的取证技术,对Web取证中的关键点日志,也只是提供了一个分析思路,对日志的预处理还有待进一步的完善。
随着日志数据量、日志类型、用户数量、分析需求等等的不断增长,越来越多的问题会逐渐浮现出来,日志分析这件事情可能就不再像我们最初想的那么简单,会变得越来越有价值,也越来越有挑战。
另外Web取证和替他相关证据必然有千丝万缕的联系,分析的时候需要综合考虑。
参考文献
[1]王伟、彭勤科.主机日志分析及其在入侵检测中的应用[J].计算机工程与应用,2015
[2]周琪锋.基于网络日志的安全审计系统的研究与设计[J].计算机技术与发展,2009
[3]学位论文刘洋基于IIS审计的入侵检测系统设计2007
[4]蒋平.计算机犯罪问题研究[M].商务印书馆,2010
[5]殷秦.基于云计算服务的Web性能测试服务系统开发[D].北京:
清华大学,2010.
8
本科生学年论文(设计)成绩表
姓名
专业
班级
论文
题目
指定
任选
指
导
教
师
评
语
及
评
分
指导教师评语:
指导教师评分___________指导教师签字:
_________
年月日
主管院长签字________(盖公章)
年月日