信息化工作.doc

信息化工作.doc

《信息化工作.doc》由会员分享，可在线阅读，更多相关《信息化工作.doc（17页珍藏版）》请在冰点文库上搜索。

文件编号:

WL-SD-26

版次:

A/0

应急预案

分页次:

17/18

应急预案

1

目录

一、目的 2

二、基本原则 3

三、适用范围 3

四、应急事件级别定义 3

五、组织机构及职责 4

5.1应急领导小组组织机构 4

5.2 应急领导小组职责 4

5.3应急小组成员职责 5

六、应急响应机制 5

6.1基本处理流程 5

七、应急方案 6

7.1互联网中断应急预案（暂定为二级事件） 6

7.2运维中心ITM监控软件应急预案（暂定为二级事件） 7

7.2.1运维中心ITM监控软件部署情况 7

7.2.2数据库操作部分 7

7.2.3ITM操作部分 8

7.2.4ITSM操作部分 8

7.3运维中心托管应用应急预案（暂定为三级事件） 10

7.4tsm异地备份应急预案（暂定为二级事件） 10

7.5运维中心市电中断应急预案（暂定为二级事件） 10

7.5.1运维机房操作流程 11

7.5.2柴油发电机房操作流程 12

7.6发电机故障应急预案（暂定为二级事件） 14

一、目的

为科学应对网络与信息安全突发事件，提高我中心应对突发应急事件的处理能力，确保信息系统安全运行，维护网络和系统正常运行，降低信息安全事件对机房所造成的损失和影响，编制本预案。

二、基本原则

（1）居安思危，预防为主。

实行突发事件统一管理、统一指挥、各级负责的原则；

（2）统一领导，分级负责,全面规划、及时发现、快速反应、措施果断的原则。

按照事件级别迅速上报相关领导和责任人。

（3）制度规范，加强管理。

严格按照《运行维护规范》、《中心机房维护作业规范》事件处理流程规范操作，使突发应急的工作规范事件化、制度化。

（4）快速反应，协同应对。

当突发事件发生时，各级要立即按应急预案，投入应急工作；加强各个部门配合协作。

形成统一指挥、反应灵敏、功能齐全、协调有序、运转高效的应急管理机制。

（5）主动报告原则：

当突发事件发生后，要及时报告应急预案实施情况。

三、适用范围

　●　中心互联网中断应急预案

　●　中心市电中断应急预案

四、应急事件级别定义

根据网络与信息安全突发公共事件的可控性、严重程度和影响范围，一般分为四级：

I级（特别重大）、II级（重大）、III级（较大）、IV级（一般）。

国家有关法律法规有明确规定的，按国家有关规定执行。

（1）I级（特别重大）：

重要网络与信息安全系统发生全市性大规模瘫痪，事态发展超出相关主管部门的控制能力，对国家安全、社会秩序、经济建设和公共利益造成特别严重损害的突发公共事件。

（2）II级（重大）：

重要网络与信息安全系统造成全市性瘫痪，对国家安全、社会秩序、经济建设和公共利益造成严重损害，需要跨部门、跨地区协同处置的突发公共事件。

（3）III级（较大）：

某一区域的重要网络与信息安全系统瘫痪，对国家安全、社会秩序、经济建设和公共利益造成一定损害，但不需要跨部门、跨地区协同处置的突发公共事件。

（4）IV级（一般）：

重要的网络与信息安全系统受到一定程度的损坏，对公民、法人和其他组织的权益有一定影响，但不危害国家安全、社会秩序、经济建设和公共利益的突发公共事件。

五、组织机构及职责

5.1应急领导小组组织机构

组  长：

副组长：

成  员：

5.2 应急领导小组职责

（1）负责编制、修订所辖范围内突发应急事件的《应急预案》。

（2）负责协调和督促整个应急事件的处理过程。

有针对性地组织专业技术人员对应急突发事件进行增援处理；必要时去现场督促，对于超出界定的突发事件，尽快提出紧急补救措施进行恢复。

（3）应急事件处理结束后，协调解决故障现场的恢复生产工作。

（4）定期或不定期地对应急小组成员进行技能培训和应急演练。

5.3应急小组成员职责

（1）值班人员平时应做好应急事件的监控、预警工作，当应急事件发生后，迅速生产事件上报相关领导，并进行先期处置。

（2）工程师在接到应急信息后，应积极配合值班人员进行先期处置，迅速赶往故障现场提供技术援助。

（3）对于在应急故障处理期间发生的新问题、新情况，应认真登记，及时上报。

对于超出《应急预案》界定的应急事件，应及时汇报应急领导小组，争取尽早提出补救措施进行恢复。

六、应急响应机制

6.1基本处理流程

已解决

扩大应急

发现故障

启动应急预案，并通知领导

按事件流程处理

初步判定

故障恢复

联系技术支持处理

联系开发人员或

厂家工程师现场处理

一般事件

突发事件

总结，修订应急预案

已解决

未解决

突发事件应急组

未解决

已解决

汇报进度

汇报进度

汇报

增援

记录

（1）值班人员平时应做好应急事件的监控工作，对于突发事件应认真分析、准确判定故障发生的数据域，负责跟踪该事件直至其结束。

对于不在中心的故障，应在第一时间内通知负责人去现场处理，密切关注事件流程及进展情况，并做好登记工作上报领导。

（2）正常情况下，要求值班人员在10分钟内进行事件确认。

如果属于一般事件则按照事件流程进行分派处理，否则应迅速启动《应急预案》，并严格按照《应急预案》所规定的步骤快速实施应急处置，及时汇报上级领导，掌握实时处理情况。

（3）在处理过程中，如需其他部门去现场增援处理，应及时向上级领导部门汇报，协调沟通，尽快联系技术工程师或厂家技术支持赶赴现场援助处理。

七、应急方案

7.1互联网中断应急预案（暂定为二级事件）

（1）密切关注，准确判断故障位置、数据域。

如故障区域属于中心范围之内，应立即启动应急预案上报相关领导，同时通知其他机房值班人员加紧监控力度。

（2）检查网络硬件设备运行状态，如发现指示灯有异常告警，及时与对端进行确认。

必要时联系市广电工程师检查物理链路，如情况属实，尽快督促广电工程师去现场进行抢修，并上报相关领导。

（3）如发现故障属硬件原因所致，尽快启用备份设备或备用端口，争取将损失减少至最低水平，及时汇报领导，协调更换或维修。

（4）登录核心交换机检查配置信息及其运行情况，如果发现配置信息有被篡改的情况，尽快启用备份数据进行恢复。

（5）坚持由简到繁，由大到小的原则逐步缩小故障范围，最后定位故障点。

如果发现网络内部存在严重病毒感染或网络攻击，果断断网，尽快通知相关责任人查杀病毒，并告知技术支持寻求补救措施。

7.2运维中心ITM监控软件应急预案（暂定为二级事件）

7.2.1运维中心ITM监控软件部署情况

设备ip

应用名称

位置

设备型号

备注

10.15.36.21

省政府监控

3列2柜

Dell2950

可通过vnc登录

10.15.36.22

省委/人大/政协监控

3列2柜

Dell2950

可通过vnc登录

10.15.36.26

统一平台监控

3列2柜

Dell2950

可通过vnc登录

10.15.36.27

配置备份

3列2柜

Dell2950

可通过vnc登录

10.15.36.25

数据库

3列2柜

曙光620r

可通过vnc登录

10.15.36.24

服务流程管理

3列2柜

Dell2950

可通过vnc登录

7.2.2数据库操作部分

应用系统要运行，首先应保证数据库能正常工作。

如有故障，可以利用vnc远程登录，然后在桌面打开一个命令行终端，输入如下命令：

cd/opt/oracle/product/OraHome/bin//进入工作目录

ps–ef|grepora//查看服务进程

如果输出结果与下图类似，则说明oracle数据库正在运行。

否则说明数据库有异常，需要手动重启。

kill-9****//杀死相关进程

su–oracle//切换用户

dbstart$ORACLE_HOME//启动数据库服务进程

7.2.3ITM操作部分

在确保数据库正常运行后，才能依次在每台监控服务器上启动ITM服务进程，具体命令如下：

cd/var/ITManager/bin//进入工作目录

ps–ef|grepITM//查看服务进程

如果有ITMserver进程，则说明ITM服务正在运行。

否则，应手动重启。

nohup./ITMnurse&//启动ITM服务进程

注意：

在重新启动ITMnurse服务前，一定要将以前的相关进程全部杀死，否则它将去自动调用ITM服务，导致启动失败。

整个启动过程较慢，大约需要8至10分钟，可以在监控区网管机上通过vnc远程进行操作。

目前，各ITM应用的syslo信息也存放于本地物理磁盘，所以当应用启动后，还应检查syslog运行情况，具体命令如下：

ps–ef|grepsyslog//查看服务syslog进程

cd/var/ITManager/syslogcollector//进入工作目录

nohup./syslogrun.sh&//启动syslog服务进程

ps–ef|grepsyslog//核查服务syslog进程

kill-9XXXX//杀死相关进程

dbshut//停掉数据库进程

Poweroff//关闭服务器

7.2.4ITSM操作部分

ITSM数据库和应用均部署在*.15.36.24服务器上，可以通过vnc或远程桌面进行登录，进入到服务管理界面，查看ITSMServer、ITSMProxy、itsmdb、ITSMSms及ApacheTomcatcas进程是否正常启动，如异常则应手动进行重启，并作记录。

具体情况如下图所示：

7.3运维中心托管应用应急预案（暂定为三级事件）

（1）检查网络连接、配置是否正常；

（2）利用vnc或远程桌面登录服务器，检查本地服务进程是否正常，如有问题，手动重启相应服务，并做好记录；

（3）检查服务器是否感染病毒，查杀病毒。

如发现系统正在遭受网络攻击或被黑客控制，果断断网，并上报托管部门相应领导，以便尽早处理；

（4）积极联系托管单位来机房检查、确认，利用备份数据进行恢复。

7.5中心市电中断应急预案（暂定为二级事件）

机房市电中断后，应立即电话联系，询问停电原因并估计恢复时间，并上报主管部门领导。

如若停电时间超过20分钟必须启动应急预案，具体操作分两部分进行。

7.5.1机房操作流程

7.5.1.3市电恢复后

（1）市电恢复大约5-10分钟后，与电话联系确认市电供电已经稳定；

（6）检查UPS控制面板是否能正常供电，确认输入电源频率在50赫兹左右；

（9）依次复位机房空调等电器开关。

注意事项：

每个开关复位时应间隔5-10秒，以免引起浪涌现象损坏配电及用电设备。

7.5.2柴油发电机房操作流程

7.5.2.1启动柴油发电机前的检查及准备工作

（1）检查机油、冷却液液面，是否在规定的范围内；

（2）检查柴油供油管是否已经放入油箱并尽可能插入油箱底部；

（3）检查供油系统是否正常；

（4）检查电瓶电缆连接是否牢靠；

（5）检查发电机配电箱的送电开关是否置于“分”状态；

7.5.2.2启动柴油发电机

（1）插入启动钥匙将启动开关向右旋转置于打开位置；

（2）按下启动按钮，同时小幅度摆动（左右摆动）油门手柄，待发动机启动后立即松开启动按钮（注意：

每次启动时间不要超过5秒，启动间隔不要少于10秒）；

（3）将油门手柄调置较小的位置（发动机匀速转动即可），保持发动机匀速运转5-10分钟，待发动机转速正常后才可调整油门手柄；

（4）将油门手柄慢慢向右调整，并注意频率表（指针最高指向50赫兹）；

（5）随着油门手柄的逐渐开启，频率表指针指向50赫兹时，稳住油门手柄并将油门手柄固定手轮向右旋转固定牢靠；

7.5.2.3柴油发电机向运维机房供电

（1）联系机房值班当班人员，确认市电配电柜钥匙开关已经置于自动状态；

（2）询问机房工作人员是否可以拉闸送电；

（3）待机房工作人员确认可以送电时，将发电机控制箱的送电开关向上调至“合”状态，此时已将电送至机房；

（4）注意发电机配电箱的电流表、频率表的变化，随时调整油门手柄，使频率表指针固定在50赫兹（刚刚加入负载时，频率值会变小，应及时调整油门手柄提高频率至50赫兹）；

（5）随时注意燃料液面，及时补充发电机所需燃料（如果在更换燃料时，发电机熄火，应立即通知机房工作人员）。

7.5.2.4正常发电期间

注意：

在发电机运转时，操作人员不得远离发电机，并随时注意发电机表值的变化！

（1）发电机控制箱部分：

a、注意频率表数值的变化（应控制在50赫兹）；

b、注意电流表数值的变化（每块电流表不得超过40安培）；

c、注意电压表数值的变化（每项电压不得高于430伏特）；

d、用手触摸发电机机壳检查表面温度是否正常；

（2）柴油机控制箱部分：

a、注意水温表的变化（表针应指在绿格部分）；

b、注意油温表的变化（表针应指在绿格部分）；

c、注意油压表的变化（表针应指在绿格部分）；

d、注意电流表的变化（表针应指向“+”方向）；

7.5.2.5柴油发电机停机

（1）联系机房工作人员，确认发电机断供准备工作是否就绪；

（2）待机房工作人员确认可以断电后，将发电机控制箱的送电开关向下调至“分”状态，并立即将油门手柄向左调整到较小状态；

（3）通知机房工作人员已将发电机供电开关断开；

（4）保持发动机低转速运转3-5分钟后，将熄火开关拉置熄火位置（向右拉），直至发动机完全停止转动；

（5）将启动开关旋转至中间档位，拔出钥匙即完成熄火；

（6）将柴油输油管从油箱中取出，并固定在较高位置（防止油管中的柴油外漏）；

（7）盖好油箱，并填写发电机操作、运转登记表。

必要时关闭运维中心机房内非关键业务，以保证呼叫中心及ITM系统能正常使用。

（1）监控区的网管机内、外网各留一台，其余的均可以关闭。

（2）按照主机—虚拟带库—扩展柜顺序，关闭TSM备份服务器，H3C存储参照TSM执行。

（3）在监控区通过网管机或VNC关闭省政府动力环境监控、省政府视频监控、省委动力环境监控、政协视频监控以及运维中心视频监控等。

（4）4列5柜内所有服务器均属测试组维护，负责人为相红利，除11/235需要登录系统正常关机外，其他的均可以直接关机；

（a）192.168.7.235（用户名/密码：

administrator/zhaoyikui）；

（b）192.168.7.11（用户名/密码：

administrator/testsvn）；

（5）4列4柜的CVS服务器、陕投门户测试服务器均可直接关闭；公司邮件、门户及病毒服务器，关闭之前应与李宗斌进行确认。

（6）小机的关机步骤：

a、HMC的操作

运维机房两台IBMP55A无显示输出设备，须受控于HMC进行管理，HMC加电后自动引导系统至登陆界面，使用HMC默认管理口令进行登陆，管理用户:

hscroot口令：

abc123，登陆后点击左侧控制列表中的“服务器管理（M）”项既可查看到该HMC所管理的P系列小型机，在运维机房环境中，该HMC管理了两台P55A型小型机，若某台小型机连接状态提示NoConnect，则检查HMC服务器网口到交换机，以及P55A后端HMC口到交换机的网络链路是否正常。

注：

运维机房HMC为英文环境，请如图对照进行操作

b、IBM小机停机步骤

运维机房的两台P55A均进行了分区，在停止P55A时，请先关闭各个分区，途中的all分区为全分区，为管理所用，不用进行操作，操作仅对各P55A的lpar1以及lpar2进行，选中分区后在右键功能菜单中选择关闭分区即可，待分区状态为未激活时，可表明分区已被关闭，依次对4个分区进行同样操作。

当所有分区关闭完成后，对这两台P55A进行Poweroff操作，如下图所示：

再弹出的对话框中选择正常关闭

待受管机器状态为Poweroff时候，说明该主机已断电，机器正常关闭。

（7）关闭UPS配电柜内暂时不使用的空开开关。

（8）当UPS电磁容量降至50%时，若市电仍无准确的恢复时间，此时就须将ITM系统关闭，以保证呼叫中心的电话畅通和ITSM正常运行。

（9）当UPS电磁容量降至20%时，若市电仍无准确的恢复时间，此时应暂时关闭呼叫中心主机，关闭机房内所以空开开关。

同时将客服电话与所有外线电话线直接相连，密切留意呼叫电话及市电供应情况。

17