一卡通平台系统应急预案.doc
《一卡通平台系统应急预案.doc》由会员分享，可在线阅读，更多相关《一卡通平台系统应急预案.doc（50页珍藏版）》请在冰点文库上搜索。
一卡通平台系统应急预案
深圳数智国兴信息科技有限公司
一卡通技术部
2016-01-13
修订历史记录
版本
日期
AMD
修订者
说明
V1.0
2016-01-13
AM
刘运亚
V1.1
2016-01-15
AM
刘运亚
（A-添加，M-修改，D-删除）
目录
总则 5
1.1.编写目的 5
1.2.适用范围 5
1.3.编写人员 5
2.应急处理流程 5
2.1.原则 5
2.2.触发条件 5
2.3.实施流程 6
2.4.职责分工 6
3.系统描述 9
3.1.物理拓扑图 9
3.2.设备列表 9
3.3.系统软件安装/部署 10
3.4.应用软件安装/部署 10
3.5.数据库安装部署 11
1.1安装Windows2008 11
1.1.1用光盘启动系统 11
1.1.2安装Windows2008 11
1.2安装数据库 15
1.3加载系统数据库 25
1.4启动操作 25
4.WEB服务器安装部署 27
4.1.安装Windows2008 27
4.2.安装JDK1.7 27
4.3.安装TOMCAT7.0 31
4.4.WEB应用安装部署 35
4.5.启动操作 35
5.应用服务器安装部署 36
1.5安装Windows2008 36
5.1.安装JDK1.7TOMCAT7.0 36
5.2.应用的安装部署 36
5.3.启动操作 36
6.文件服务器安装部署 36
6.1.安装Windows2008 36
6.2.安装JDK1.7TOMCAT7.0 36
6.3.应用的安装部署 36
6.4.启动操作 37
6.5.关联系统 37
6.6.数据库备份 37
6.6.1.数据备份 37
7.应急详细技术方案 39
7.1.故障判断 39
7.1.1.故障判断流程 39
7.1.2.流程说明 39
7.2.单点服务器故障 41
7.2.1.故障类型1 41
7.2.2.故障类型2 42
7.2.3.故障类型3 42
7.2.4.数据库损坏或者服务器系统崩溃 43
7.3.数据库软件 43
7.4.磁盘阵列 44
7.4.1.配置信息恢复 44
7.4.2.文件系统数据恢复 45
7.5.服务器硬件 45
7.6.系统软件 45
7.7.网络设备 45
7.8.电源设备 45
8.系统恢复确认 46
8.1.主机系统检查 46
8.2.应用程序检查 46
9.附件一、备份操作步骤 47
9.1.数据库备份 47
9.1.1.逻辑备份 47
9.1.2.物理备份 47
9.2.数据库备份数据恢复 47
总则
1.1.编写目的
本文的编写目的是为各个用户的应急处理提供操作指导，确保在系统异常时，可以有序的实施恢复操作，及时恢复业务。
1.2.适用范围
适用系统：
一卡通系统
适用对象：
各个用户系统管理员、维护支撑人员以及其他管理人员。
1.3.编写人员
一、一卡通系统应急预案编写工作小组人员名单：
刘运亚
2.应急处理流程
2.1.原则
支撑系统应急处理遵循“先疏通，后抢修”的原则，在较短时间内尽可能恢复业务，减少业务受影响的范围，缩短业务受阻的历时：
1.确保网络安全，最大限度地预防业务中断，防止业务性能下降扩散。
2.应急处理尽量简单、明了，尽量优先恢复业务，保证网络效益最大化。
3.业务应急按照不同业务类别实施不同的应急策略，优先满足面向客户的业务恢复。
2.2.触发条件
同时具备以下条件的时候，经省移动公司批准后启用应急处理流程：
1.是否开启应急处理流程；
2.判断100分钟内无法排除；
3.严重影响业务；
2.3.实施流程
2.4.职责分工
角色
职责描述
部门
姓名
联系电话
备注（*）
协调部门
1、向用户解释系统状况；
2、协调相关部门协同处理
移动运维部门
分公司监控中心
上级领导
1、向省公司或分公司领导汇报故障处理进度；
2、部门间沟通协调。
3、决定是否启用应急环境。
移动运维部门
故障协调人员
1、组织维护人员分工协作；
2、向上级领导汇报进度；
移动运维部门
故障处理人员
1、判断故障点；
2、提出并实施解决方案或应急措施；
3、系统恢复后检查系统状况；
4、编写故障分析报告。
移动运维部门
厂家支撑人员
1、协助判断故障点，可电话技术支持，必要时必须赶到现场处理故障；
2、按维保合同提供必要的备件；
3、协助分析故障原因并协助整改。
平台供应商
报障电话
400-6809856
业务配合人员
1、执行业务应急措施，向用户解释系统状况；
2、系统恢复后检查应用系统状况。
市场部
彭波发
18620362107
技术支持中心
刘运亚
18565814559
研发中心
杨杰
18779175972
3.系统描述
3.1.物理拓扑图
3.2.设备列表
设备名称
操作系统
用途
序列号
IP地址
ykt_SDJN-YPT-YKT-03
LinuxSUSE
生产环境NFC数据库
1
172.16.16.102
ykt_SDJN-YPT-YKT-06
WindowsServer2008R2
生产环境数据采集服务器
2
172.16.16.103
ykt_SDJN-YPT-YKT-05
WindowsServer2008R2
生产环境数据访问节点
生产环境NFCWEB应用入口
3
172.16.16.104
ykt_SDJN-YPT-YKT-04
WindowsServer2008R2
生产环境数据访问节点
生产环境数据库服务器
4
172.16.16.105
ykt_SDJN-YPT-YKT-01
WindowsServer2008R2
生产环境WEB应用入口
172.16.16.100
3.3.系统软件安装/部署
设备名称
安装软件
作用
数据库服务器
172.16.16.105SQLServer2012
应用服务器
172.16.16.100部署card、OneCardReport项目
一卡通云平台和报表项目
172.16.16.101部署MyRest、cloudweb项目
一卡通云平台后台程序与BOSS接口程序
172.16.16.104部署MyRest、cloudwebsmartcar项目
为APP后台接口程序
3.4.应用软件安装/部署
注意：
apk需放在smartcard\apps\pkgs目录下
1.把项目源代码导入（选择import）Eclipse开发工具。
2.根据部署的服务器修改对应项目的配置文件
card项目:
修改src/config.properties文件
修改resturl值，把IP地址修改成Web服务器的路径示例:
resturl=http\:
//192.168.10.103\:
8080/MyRest/（只需要修改IP地址和端口号）
修改reporturl值,把IP地址修改成Web服务器的路径示例:
reporturl=http\:
//192.168.10.103\:
8080
MyRest项目:
修改src/com/hzyd/jdbc/dbhelper/fig.xml文件
修改url值修改成数据库平台库的库名,与数据库服务器的IP
修改username值:
数据库对应的登陆账户名
修改password值：
数据库对应的密码
OneCardReport项目:
报表项目。
在Webroot/reports/目录下,每张报表有单独的数据集,需要填写数据库对应的地址.与账户密码.密码采用BASE64加密。
示例：
jdbc:
sqlserver:
//172.16.16.105:
1433;databaseName=OCard_HZ_Base
sa
SEYzZ3hyWTk
cloudweb项目:
修改src/main/conf/props/jdbhc.propertries
修改jdbc.url值（对应的数据IP地址与库名端口号）
修改jdbc.username值（对应的数据库登录名）
修改jdbc.password（数据库对应的密码）
3.把修改好的项目源代码导出成War包
4.把相应War包解压到服务器Tomcat下的webapps目录下,启动Tomcat,完成部署。
5.完成部署后输入正确的IP地址加上端口号与项目名可以访问项目示例:
http:
//192.168.10.103:
8080/card
3.5.数据库安装部署
1.1安装Windows2008
1.1.1用光盘启动系统
重新启动系统并把光驱设为第一启动盘,保存设置并重启。
将2003安装光盘放入光驱,重新启动电脑。
刚启动时，当出现如下图1所示时快速按下回车键，否则不能启动2003系统安装。
1.1.2安装Windows2008
光盘自启动后,如无意外即可见到安装界面
从光盘读取启动信息，很快出现如下图所示。
全中文提示,“要现在安装Windows,请按ENTER”，按回车键。
许可协议,这里没有选择的余地，按“F8”。
这里用“向下或向上”方向键选择安装系统所用的分区，这里准备用C盘安装2003，并准备在下面的过程中格式化C盘。
选择好分区后按“Enter”键回车，安装程序将检查C盘的空间和C盘现有的操作系统。
下图表示安装程序检测到C盘已经有操作系统存在，提出警告信息。
如果你选择安装系统的分区是空的。
在这里我坚持用C盘安装系统，根据提示，按下键盘上的“C”键后出现如下图所示。
下图最下方提供了5个对所选分区进行操作的选项，其中“保存现有文件系统（无变化）”的选项不含格式化分区操作，其它都会有对分区进行格式化的操作。
这里，我用“上移”箭头键选择“用NTFS文件系统格式化磁盘分区”。
格式化C分区完成后,创建要复制的文件列表，跟接着开始复制系统文件
随后的操作按照系统操作步骤一步步进行即可完成WindowsServer2003的安装。
1.2安装数据库
平台数据库为SQLSERVER2008R2,安装图解如下:
1.3加载系统数据库
（1）首先建立数据库。
用Sa用户登录后，在数据库->新建数据库中建立OCard_HZ_Base数据库。
（2）建立sdykt用户
打开MicrosoftSQLServerManagementStudio，在安全性->用户名中创建sdykt用户，访问密码设为abcd，并把该用户设为sdykt数据库的用户。
（3）导入OCard_HZ_Base系统数据库
在OCard_HZ_Base数据库上右键－任务－还原－数据库上操作，将OCard_HZ_Base.bak导入到数据库中。
1.4启动操作
在系统找到相应的服务启动：
4.WEB服务器安装部署
4.1.安装Windows2008
4.2.安装JDK1.7
4.3.安装TOMCAT7.0
Tomcat7.0的安装过程如下:
4.4.WEB应用安装部署
（1）将程序打包的文件复制到tomcat安装路径的webapps目录下，
（2）解压后配置访问端口，编码，内存范围已经数据库连接地址
（3）在tomcat安装目录的conf目录下server.xml配置端口访问控制参数
4.5.启动操作
在tomcat安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问.
5.应用服务器安装部署
1.5安装Windows2008
5.1.安装JDK1.7TOMCAT7.0
5.2.应用的安装部署
（1）将应用的安装文件复制到tomcat安装目录的webapps下，然后解压。
（2）配置好访问端口和数据库连接。
5.3.启动操作
在tomcat安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问
6.文件服务器安装部署
6.1.安装Windows2008
6.2.安装JDK1.7TOMCAT7.0
6.3.应用的安装部署
（1）在tomcat安装目录下的webapps文件夹下新建文件夹upload
（2）设置文件夹upload的读写权限，然后再里面建分类文件
6.4.启动操作
在tomcat安装目录的bin目录下找到tomcat.ext，双击打开启动tomcat,然后再浏览器中输入ip+端口+项目名访问.
例如:
http:
//172.16.16.100:
80/
6.5.关联系统
系统名称
关联业务
故障对系统的影响
一卡通会议签到系统
业务开通
如果不能访问平台，会议签系统仍然可以应用，当能再次连接平台时数据重新同步。
一卡通考勤管理系统
业务开通
如果不能访问平台，考勤系统仍然可以应用，当能再次连接平台时数据重新同步。
一卡通门禁管理系统
业务开通
如果不能访问平台，门禁系统仍然可以应用，当能再次连接平台时数据重新同步。
一卡通消费系统
业务开通
如果不能访问平台，消费系统到仍然可以应用，当能再次连接平台时数据重新同步。
6.6.数据库备份
6.6.1.数据备份
设备名称
172.16.16.105
备份内容
平台数据库
备份方法
数据库软件自动备份
备份周期及时间点
每天备份
9:
30分
14:
30分
21:
30分
00:
15分
备份介质
保存期限
9：
30、14：
30、21.：
30一天
00：
15三个月
7.应急详细技术方案
7.1.故障判断
7.1.1.故障判断流程
7.1.2.流程说明
1）故障发生和现象描述：
a）软件或硬件导致宕机,如:
数据库、磁盘不可访问、主机不能正常运行、网络不正常、电源掉电、运行温湿度等环境条件超标等
b）操作系统CPU占用率大于95%并严重影响业务超过30分钟
c）操作系统内存消耗超过95%并严重影响业务超过30分钟
d）操作系统I/O等待率大于50%并严重影响业务超过30分钟
e）磁盘使用率达到100%
f）应用程序运行异常,导致业务系统不可用
g）系统双击工作异常,严重影响业务处理
h）业务处理性能比平时慢50%以上且持续一段时间
2）网络和服务器可用行检查：
包括PING、TELNET检查等
3）数据库可用行检查：
包括SQLPLUS访问、表空间、数据库死锁、等待事件、数据库日志查看等
4）服务器系统资源使用情况检查：
包括CPU、内存、磁盘空间、系统I/O的使用率和系统日志查看等
5）应用程序健康性检查：
包括服务CORE、服务排队、服务挂死、域间通讯检查和程序运维日志查看等
6）检查的顺序建议按照网络、系统、数据库、中间件和应用日志的顺序进行检查，可以根据故障现象进行实际的调整
7）定位故障等级包括单点故障、多点故障、其他故障
8）需要应急处理的故障如下：
故障
序号
故障现象描述
故障等级
处理办法
备注
1
如果平台上面设备最后一次通讯时间与现实时间相差5分钟以上，或者大批量通讯异常
单点故障
参照7.2.1
2
输入平台网址无法显示登陆界面或者显示404
单点故障
参照7.2.2
3
登陆网址到登陆界面输入正确的用户账号密码无反应
单点故障
参照7.2.3
4
数据库服务器不能正常使用，或者该服务器系统崩溃无法正常开机运行
多点故障
参照7.2.4
7.2.单点服务器故障
7.2.1.故障类型1
平台出现大量设备通讯依次，以及最后一次通讯时间小于现实时间5分钟以外，可以去172.16.16.103上的d:
\CommServer\CommServer.exe该程序是否正常运行，如果程序处于不正常状态，马上重新启动该程序就行
7.2.2.故障类型2
输入平台网址无法显示登陆界面或者出现404错误，可以去WEB服务器172.16.16.100D:
\Tomcat7063查看该服务是否正常运行，如果没有正常运行那就必须重启该服务。
7.2.3.故障类型3
登陆网址到登陆界面输入正确的用户账号密码无反应，可以去后台数据服务器172.16.16.101，C:
\Tomcat7063，查看该服务程序是否正常运行，如果程序不正常可以试着重启该服务程序，如果程序正常可以去172.16.16.105D:
\DataBase\查看该项目数据库是否正常使用，如果不正常可以选择按照“6.2数据库备份数据恢复”恢复数据库
7.2.4.数据库损坏或者服务器系统崩溃
如果出现数据库损坏或者数据库服务器系统崩溃，无法开机正常运行。
可以在备用服务器上面参照“3.4应用软件安装/部署”重新部署该项目，并且按照“6.2数据库备份数据恢复”恢复数据库
7.3.数据库软件
数据库出现紧急故障乃至数据丢失、数据库不可用时，主要通过逻辑恢复和物理恢复两种方式来完成。
在执行恢复操作时，一般建议联系集成商和ORACLE协助进行实施。
第一种情况：
【故障现象】：
归档日志目录满的情况。
【解决办法】：
先将归档日志临时移至其他目录，然后做备份处理：
Mv数据库目录log_1*备份数据库目录
启动NBU备份软件进行归档日志备份。
第二种情况：
【故障现象】：
单个表或部分表数据丢失的情况。
【解决办法】：
如果有近期的逻辑备份，可以考虑通过从逻辑备份中导出进行表恢复。
但需要考虑恢复的时间点要求问题。
第三种情况：
【故障现象】：
数据库无法打开等情况，采用RMAN进行恢复。
【解决办法】：
因为硬件原因或数据库内部自身的原因，数据库无法打开，需要全库恢复，部分表空间数据损坏，可以考虑进行部分表空间的恢复。
这个恢复操作主要通过调用rman脚本进行恢复。
建议这个操作在其他设备上进行：
1.如果有另一套阵列设备环境，建议在新阵列环境上进行恢复。
2.按照原有的配置重新划分卷组、文件系统。
3.在操作系统上按照原有的配置重新划分diskgroup和lv。
4.调用rman脚本进行数据库恢复，需时约4-12小时。
5.如果没有阵列设备，直接在原来的环境上进行恢复。
7.4.磁盘阵列
如磁盘阵列故障无法修复时，可使用最近备份进行恢复。
7.4.1.配置信息恢复
阵列配置信息的恢复需要建立在原来信息备份的基础上。
阵列配置信息的备份主要是记录配置参数。
7.4.2.文件系统数据恢复
阵列的文件系统数据出现丢失时，可以使用最近的备份进行恢复。
由于阵列的数据量大，目前我们一般都通过备份软件（DP或NBU）采用磁带库进行数据备份。
7.5.服务器硬件
第一种情况：
【故障现象】：
服务器硬盘损坏
【解决办法】：
尝试从镜像盘启动，同时按照维保的厂家报障流程进行报障处理。
第二种情况：
【故障现象】：
其他部件损坏
服务器硬件的故障，按照维保的厂家报障流程进行报障处理。
7.6.系统软件
【故障现象】：
linux系统配置文件丢失，无法正常启动。
【解决办法】：
采用系统备份带恢复操作系统。
在磁带机中，插入系统恢复带，回复系统。
7.7.网络设备
需要根据网络主干故障、网络接入点故障等情况触发网络抢通预案；
7.8.电源设备
需要根据主机关机、主机电源告警、供电设备（含机架电源条）故障等情况分别制定相应的预案；
原则：
主机电源故障导致主机处于关机状态的，需要触发备用系统切换预案和备件更换预案；供电设备故障的，需要触发电源切换预案；
8.系统恢复确认
8.1.主机系统检查
检查项
检查内容
检查情况
Tomcat
检查Tomcat是否启动
8.2.应用程序检查
检查项
检查内容
检查情况
数据采集程序
检查数据采集程序是否启用
9.附件一、备份操作步骤
9.1.数据库备份
9.1.1.逻辑备份
采取逻辑备份定期备份重要的数据表，在出现故障时，可以快速进行恢复。
9.1.2.物理备份
lSQLserver2008备份软件
一般，当备份进程配置好之后，SQLserver会按照日期表触发备份进程（分别是9:
30分，14:
30分。
21:
30分，00:
15分备份后，清空前一天的3次备份数据（00:
15分作为最终备份））自动进行指定备份，不需要人工干预。
9.2.数据库备份数据恢复
第一步右键单击系统数据库选着还原数据库
第二步源选择设备选中添加文件中备份的.bak文件
第三步可以先验证备份介质或者直接确定
第四步成功后会弹出成功信息,如果还原的企业最近有门禁刷卡或者消费刷卡,可以查看对应的记录表核对是否有相关信息
Access_Records（门禁记录表,RecordTime字段为刷卡时间）
Consume_Records（消费记录表,RecordTime字段为刷卡时间）
注意如果需要还原的数据库数据库已经有还原时可以选中覆盖现有数据库
升级会员 