syslog日志策略方案.docx

1、syslog日志策略方案 Syslog-ng日志管理方案联想数据中心服务器组2013年11月26日文档信息文档编号：文档名称：无锡数据中心信息日志管理系统部署手册起草人：郑煜审核人： 批准人：生效日期：发布范围：版本记录版本号版本日期修改修改章节修改记录V1.02013/10/08郑煜创建新文档V1.12013/11/26周程增加windows和linux日志管理方案添加内容V1.22013/11/27杨云波增加网络设备日志管理配置方案添加内容1.文档介绍1.1编写目的本文件描述了联想MS无锡数据中心日志管理系统进行部署优化的操作步骤。1.2适用范围本文件阅读对象为联想MS项目无锡数据中心运维

2、团队，包括无锡mscc，技术方案中心，以及无锡数据中心安全管理团队。1.3引用文件LogZilla Installation Guide: 日志服务器的搭建（logzilla+syslog-ng+lamp）:2.术语定义syslog：系统日志Eventlog：信息安全管理体系严重性：severity 如果风险发生产生的影响的严重级别。3.日志管理系统概述日志管理系统主要记录无锡数据中心的服务器、网络设备、安全设备等的相关登陆和操作日志，以便对运维工程师在服务器和基础架构设备上进行的各种操作进行跟踪和审计。通常各种设备的系统日志保存在系统本地，受到系统资源的限制，无法保留较长的时间，同时保存在系

3、统本地的时候，日志内容本身能够被高等级用户修改，难以确定信息的完整性，另外设备日志的查看需要等到的设备上一台一台的进行，设备数量较多的时候，操作工作量大，对比和查询比较困难。因此处于安全审计的要求和管理的便捷，在无锡我们需要实现系统日志的集中管理。管理的设备包括：服务器，包括linux服务器和windows网络设备，包括交换机和F5安全设备，防火墙等无锡IDC采用开源技术方案，根据前期的研究采用syslog-ng+logzilla开源方案构建日志管理系统。4.系统架构Syslog日志服务器IP地址：10.113.7.23系统架构图如下：部署示意图如下图：5.安装部署12345123455.1部

4、署步骤1序号步骤备注1关闭SELinux2开启防火墙80和514端口3安装LAMP4平台初始化5安装syslog-ng 6修改syslog-ng配置文件7安装php-syslog-ng组件8修改httpd.conf配置9修改php.ini配置10修改mysql设置，启动http服务11通过web页面设置php-syslog-ng12自动分隔logzilla日志13替换脚本路径14修改config.php和db_insert.pl文件15插入测试数据（可选）16重启syslog-ng17web登陆系统18Linux客户机配置日志转发19windows客户机配置5.2前期准备工作23455.15.

5、25.2.1查看SELinux的状态a)#getenforce b)如果是开启状态，则编辑/etc/selinux/config配置文件vi /etc/selinux/config#SELINUX=enforcing #注释掉#SELINUXTYPE=targeted #注释掉SELINUX=disabled #增加c)配置更改后重启系统后生效Reboot #重启系统5.2.2开启防火墙80和514端口a)vi /etc/sysconfig/iptables #编辑防火墙配置文件b)在文件中添加如下两条规则 -A RH-Firewall-1-INPUT -m state -state NEW

6、-m tcp -p tcp -dport 80 -j ACCEPT-A RH-Firewall-1-INPUT -m state -state NEW -m udp -p udp -dport 514 -j ACCEPT5.2.3安装LAMPa)使用yum源安装Apache，Mysql和Php，yum源的配置请参考数据中心yum配置文档yum -y install gcc gcc-c+ flex pcre pcre-devel glib2 glib2-devel openssl-devel php gd gd-devel php-gd mysql php-mysql mysql-server

7、mysql-devel httpd5.2.4平台初始化a)安装libnet组件，安装perl模块Text:LevenshteinXS、Digest:SHA1、Net:MySQLyum -y install libnet #如果yum安装不了，建议单独去下载rpm包后安装。cpan Text:LevenshteinXS cpan -i Digest:SHA1cpan -i Net:MySQL5.3安装和修改配置文件123455.15.25.35.3.1安装syslog-nga)eventlog将会生成/usr/lib/pkgconfig 目录，这个目录会被syslog-ng的configure脚

8、本使用，所以你应该添加一个环境变量PKG_CONFIG_PATH,使用如下命令添加：export PKG_CONFIG_PATH=/usr/lib/pkgconfig:$PKG_CONFIG_PATHb)通过上传将安装文件复制到/usr/local/src文件夹下。上传文件syslog-ng-3.0.5-1.rhel5.x86_64.rpm (64位系统)，eventlog_0.2.9.tar.gz，logzilla_v2.9.9o.tgzc)安装eventlog和syslog-ngcd /usr/local/srctar zxvf eventlog_0.2.9.tar.gzcd eventl

9、og-0.2.9/./configure & make & make installcd .rpm ivh syslog-ng-3.0.5-1.rhel5.x86_64.rpm5.3.2修改syslog-ng配置文件a)修改syslog-ng配置文件vi /opt/syslog-ng/etc/syslog-ng.conf将文件内容更改如下version: 3.0#Default configuration file for syslog-ng.# For a description of syslog-ng configuration file directives, please read#

10、 the syslog-ng Administrators guide at:# #options # Number of syslog lines stored in memory before being written to filesflush_lines (0); log_fifo_size (2048);create_dirs (yes);perm (0640);dir_perm (0750); source s_network_1 udp(ip(0.0.0.0) port(514);destination d_network_1 file(/var/log/syslog-ng/n

11、etwork/$YEAR.$MONTH.$DAY/$HOST/$FACILITY.log);# Define the destination d_network_1B log directorydestination d_network_1B file (/var/log/syslog-ng/network/all/network.log);log source(s_network_1);destination(d_network_1);log source(s_network_1);destination(d_network_1B);destination d_logzilla progra

12、m(/var/www/logzilla/scripts/db_insert.pl template($HOSTt$FACILITYt$PRIORITYt$LEVELt$TAGt$YEAR-$MONTH-$DAYt$HOUR:$MIN:$SECt$PROGRAMt$MSGn);log source(s_network_1);destination(d_logzilla);source localhost_all internal();unix-stream(/dev/log);file(/proc/kmsg program_override(kernel);destination localho

13、stlog file (/var/log/syslog-ng/$HOST/$YEAR-$MONTH/$DAY create_dirs(yes);log source(localhost_all);destination(localhostlog);destination local_logzilla program(/var/www/logzilla/scripts/db_insert.pl template($HOSTt$FACILITYt$PRIORITYt$LEVELt$TAGt$YEAR-$MONTH-$DAYt$HOUR:$MIN:$SECt$PROGRAMt$MSGn);log s

14、ource(localhost_all);destination(local_logzilla);注意修改时保证路径/var/www/logzilla/与后面章节中logzilla的安装路径一致b)启动syslog-ng /etc/init.d/syslog-ng restart5.3.3安装php-syslog-ng组件a)进入/usr/local/src路径，解压压缩包tar -zxvf logzilla_v2.9.9o.tgzb)修改文件夹名称与syslog-ng配置文件中一致mv php-syslog-ng logzillamv logzilla /var/www/c)修改文件夹的ow

15、ner,确保logzilla的文件夹owner与apache的配置一致chown -R apache:apache /var/www/logzilla/html /确定httpd.conf中User 为apache,Group为apached)将php-syslog-ng配置文件改为可写chmod a+w /var/www/logzilla/html/config/config.phpe)创建logzilla的日志文件夹mkdir -p /var/log/logzilla5.3.4修改httpd.conf配置编辑Apache的配置文件httpd.confvim /etc/httpd/conf/

16、httpd.conf在最后加上 ServerAdmin webmaster DocumentRoot /var/www/logzilla/html/ ServerName ErrorLog logs/-error_log CustomLog logs/-access_log common Alias /logs /var/www/logzilla/html/ Options Indexes MultiViews FollowSymLinks AllowOverride All Order allow,deny Allow from all 5.3.5修改php.ini配置编辑php.ini文件

17、vim /etc/php.inidisplay_errors = On /Off改成Onmagic_quotes_gpc = On /Off改成Onmemory_limit = 128M max_execution_time = 300 /30改成3005.3.6修改mysql设置，启动http服务a)mysql的初始化和配置vi /etc/fb)由于search_cache表采用的是MEMORY存储引擎，有大小的限制，修改一下/etc/f，添加以下内容：tmp_table_size=1Gmax_heap_table_size=1Gc)让mysql以服务的方式开机启动chkconfig mys

18、qld ond)启动mysqlservice mysqld starte)设置mysql的root密码cd /usr/bin/mysqladmin -u root -h localhost password mysql123456f)登录mysql测试mysql -u root -p输入密码：mysql123456退出 ：Exitg)重启syslog /etc/init.d/syslog-ng restarth)重启apache服务 service httpd start5.3.7通过web页面设置php-syslog-nga)通过firefox登陆http:/127.0.0.1/instal

19、l/install1.php，最好不要用IE，最后一步installcemdb时会卡死，或者自行手工登陆mysql执行相应的Sql文件。请确保页面上填写的内容与系统设置和设计一致，Sysloguser的密码：sysloguserpasswdSyslogadmin的密码：syslogadminpasswdb)填写完毕之后，点击右上角的next，弹出提示框点击OK确认，呈现页面如下：c)填写site name，点击next ,呈现如下页面输入管理员email和admin帐号密码，请确保与设计保持一致。Web应用的admin帐号的密码：lenovoms123然后点击右上next按钮，界面如下：d)确

20、认安装配置的summary信息无误，点击install CEMDB，开始执行数据库配置和logzilla数据库初始化，弹出提示e)点击，start import执行界面如下：f)完成之后，点击continue或者通过浏览器访问http:/127.0.0.1/logs呈现如下界面：g)输入admin帐号和之前配置的密码，即可登陆系统呈现如下页面：如果没有数据，则表格为空。5.3.8自动分隔logzilla日志a)复制配置文件cp /var/www/logzilla/scripts/contrib/system_configs/logrotate.d /etc/logrotate.d/logzil

21、lab)添加自动运行作业crontab -edaily /usr/bin/php /var/www/logzilla/scripts/logrotate.php /var/log/logzilla/logrotate.log daily /usr/bin/find /var/www/logzilla/html/jpcache/ -atime 1 -exec rm -f ; */5 * * * * /usr/bin/php /var/www/logzilla/scripts/reloadcache.php /var/log/logzilla/reloadcache.logc)给logrotate

22、.php和reloadcache.php可执行权限cd /var/www/logzilla/scriptschmod +x logrotate.phpchmod +x reloadcache.php5.3.9替换脚本路径a)cd /var/www/logzilla/scriptsb)./fixpaths.shUpdating all files with a base path of /var/www/logzillaModifying ./scripts/contrib/system_configs/syslog-ng.confModifying ./scripts/contrib/syst

23、em_configs/logzilla.apacheModifying ./scripts/contrib/system_configs/crontabModifying ./scripts/contrib/loggen/find_missing_sequences.plModifying ./scripts/db_insert.plc)重启syslog /etc/init.d/syslog-ng restart如果有如下报警USING TABLE: logs There appear to be no hosts in the Database yetYou can generate fak

24、e ones using scripts/dbgen.pl则修改config.php和insert.plwen文件5.3.10修改config.php和db_insert.pl文件a)修改config.phpvim /var/www/logzilla/html/config/config.php查找define(DBHOST, 127.0.0.1); #把localhost改成IP要不然不会自动插入数据b)修改db_insert.sqlvim /var/www/logzilla/scripts/db_insert.plc)查看my $ngconfig确保位置为/var/www/logzilla

25、/html/config/config.php5.3.11插入测试数据（可选）a)如果需要插入测试数据，则修改dbgen.sqlvi /var/www/logzilla/scripts/contrib/dbgen/dbgen.plb)修改my $ngconfig=/data/www/php-syslog-ng/html/config/config.php为 /var/www/logzilla/html/config/config.php; c)执行插入测试数据perl /var/www/logzilla/scripts/contrib/dbgen/dbgen.pl5.3.12重启syslog-

26、ng修改config.php之后，重启syslog-ng服务启动syslog-ng# /etc/init.d/syslog-ng restart5.3.13web登陆系统通过浏览器访问http:/127.0.0.1/logs呈现如下界面：输入admin帐号和之前配置的密码，即可登陆系统呈现如下页面：如果没有数据，则表格为空。6.windows客户端配置和日志过滤1.2.3.4.5.6.66.1syslog消息类型消息类型消息来源Kern内核User用户程序Damon系统守护进程Mail电子邮件系统Auth与安全权限相关的命令Lpr打印机News新闻组信息UucpUucp程序Cron记录当前登录

27、的每个用户信息Wtmp一个用户每次登录进入和退出时间的永久记录Authpriv授权信息备注：windows不支持消息类型，统一定义成local6.2Syslog常用优先级优先级描述Emerg最高的紧急程度状态Alert紧急状态Cirt重要信息Warning警告Err临界状态Notice出现不寻常的事情Info一般性消息Debug调试级信息None不记录任何日志信息6.3日志结构示例DB ID HostFacilityDate timeProgramMessage357261LXJ204-CSSdaemon2013-11-17 10:01:29Service_Control等待来自 UmRdpS

28、ervice 服务的事务处理响应超时(30000 毫秒)。359100LXJ204-CSSdaemon 2013-11-17 10:18:57Service_ControlRDP 协议组件 X.224 在协议流中发现一个错误并且中断了客户端连接。6.4Windows策略配置66.16.26.36.466.16.26.36.46.4.1Windows设备列表6.4.2Windows客户端配置a)windows日志不支持syslog格式，需要安装Evtsys_4.4.3_64-Bit.zip（脚本里将其改成4.5的版本），下载地址为：b)解压后是两个文件evtsys.dll和evtsys.exe把这两个文