运维文档.docx

1、运维文档运维服务方案2013年12月北京许继电气有限公司1北京许继电气有限公司的服务内容1.1服务目标北京许继电气有限公司可为提供的运行维护服务包括，与电动汽车智能充换电服务网络运营监控系统(以下简称运营监控系统）相关的主机设备、操作系统、数据库和存储设备的运行维护服务，保证用户现有运营监控系统的正常运行，降低整体管理成本，提高运营监控系统的整体服务水平。同时根据日常维护的数据和记录，提供用户运营监控系统的整体建设规划和建议，更好的为用户的信息化发展提供有力的保障。用户运营监控系统的组成主要可分为两类：硬件设备和软件系统。硬件设备包括网络设备、安全设备、主机设备、存储设备等；软件设备可分为操作

2、系统软件、典型应用软件（如：数据库软件、中间件软件等）、业务应用软件等。北京许继电气有限公司通过对运行维护服务的有效管理来提升用户运营监控系统的服务效率，协调各业务应用系统的内部运作，改善网络运营监控系统与业务部门的沟通，提高服务质量。结合用户现有的环境、组织结构、IT资源和管理流程的特点，从流程、人员和技术三方面来规划用户的网络运营监控系统的结构。将用户的运行目标、业务需求与IT服务的相协调一致。北京许继电气有限公司提供的运营监控系统服务的目标是，对用户现有的运营监控系统基础资源进行监控和管理，及时掌握网络运营监控系统资源现状和配置信息，反映运营监控系统资源的可用性情况和健康状况，创建一个可

3、知可控的良好环境，从而保证用户的运营监控系统的各类业务应用系统的可靠、高效、持续、安全运行。服务项目范围覆盖的运营监控系统资源以下方面的关键状态及参数指标：运行状态、故障情况配置信息可用性情况及健康状况性能指标1.2资产统计服务此项服务为基本服务，包含在运行维护服务中，帮助我们对用户现有的信息资产情况进行了解，更好的提供系统的运行维护服务。服务内容包括：硬件设备型号、数量、版本等信息统计记录软件产品型号、版本和补丁等信息统计记录网络结构、网络路由、网络IP地址统计记录综合布线系统结构图的绘制其它附属设备的统计记录1.3现场巡检服务现场巡检服务是北京许继电气有限公司对客户的设备及网络进行全面检查

4、的服务项目，通过该服务可使客户获得设备运行的第一手资料，最大可能地发现存在的隐患，保障设备稳定运行。同时，北京许继电气有限公司将有针对性地提出预警及解决建议，使客户能够提早预防，最大限度降低运营风险。巡检包括的内容如下：编号巡检内容1硬件运行状态检查项目单板状态检查电源模块状态检查风扇状态检查整机指示灯状态检查机框防尘网检查机房温度、湿度检查设备地线检查2软件运行情况检查项目设备运行情况检查网络报文分析设备对接运行状况检查路由运行情况检查3网络整体运行情况调查网络运行问题调查网络变更情况调查网络历史故障调查重要时刻专人值守服务北京许继电气有限公司深刻知道保证重要时刻设备稳定运行对客户成功尤为关

5、键，因此，北京许继电气有限公司可对客户提供重要时刻的专人现场值守支持，包括政府客户的重大会议期间、金融客户的年终结算日、运营商客户的生产网重大割接或其它任何客户认为可能对其业务运营产生重大影响的时刻。如需专人值守，客户需至少提前3周与授权服务商客户服务经理联系。对每位合约客户，授权服务商均需按事先合同约定提供专人值守服务。客户如需超出合同约定范围的更多值守支持，需额外支付相应人力和差旅费用。1.4主机、存储系统运维服务北京许继电气有限公司提供的主机、存储系统的运维服务包括：主机、存储设备的日常监控，设备的运行状态监控，故障处理，操作系统维护，补丁升级等内容。主机存储系统基本服务内容：序号服务模

6、块内容描述提供方1现场备件安装配合用户进行。按备件到达现场时间工程师到达现场设备厂商、北京许继电气有限公司2补丁服务消除软件漏洞给系统带来的安全隐患，并对安装补丁所引起的系统连锁反应进行合理的平衡。北京许继电气有限公司3升级服务对系统进行软件或硬件的升级，以改进、完善现有系统或消除现有系统的漏洞。北京许继电气有限公司4现场故障诊断按服务级别：724小时 58小时北京许继电气有限公司5电话远程技术支持724小时北京许继电气有限公司6问题管理系统对遇到的问题进行汇总和发布北京许继电气有限公司7系统优化对客户系统的括主机、存储设备、操作系统、提供优化服务。北京许继电气有限公司现场人员可进行监控管理的

7、内容包括：CPU 性能管理；内存使用情况管理；硬盘利用情况管理；系统进程管理；主机性能管理；实时监控主机电源、风扇的使用情况及主机机箱内部温度；监控主机硬盘运行状态；监控主机网卡、阵列卡等硬件状态；监控主机HA运行状况；主机系统文件系统管理；监控存储交换机设备状态、端口状态；监控备份服务进程、备份情况（起止时间、是否成功、出错告警）；监控记录磁盘阵列、磁带库等存储硬件故障提示和告警，并及时解决故障问题；对存储的性能（如高速缓存、光纤通道等）进行监控。设备巡视按下表各项内容进行。 检查项结论备注机房环境空气条件系统温度正常 异常 湿度正常 异常 %环境卫生清洁正常 异常 痕迹正常 异常 故障甄别

8、异味有 无 异响有 无 安全防护门禁正常 异常 检查项结论备注网络设备防火墙网络通讯状况正常 异常 路由器网络通讯状况正常 异常 网络交换机数据指示灯状况正常 异常 网络通讯状况正常 异常 交换机端口及网线状况正常 异常 检查项操作提示/正常值结论备注整体检查硬件故障查看服务器设备故障灯正常 异常 故障原因及解决方法：补丁是否有新补丁需要测试安装是 否 安装的补丁名称及对应的服务器名称：防病毒病毒库是否升级为最新是 否 病毒库日期：检查项结论备注1#数据库服务器冗余电源电源指示灯显示状况正常 异常 系统指示系统指示灯状况正常 异常 CPU利用率CPU利用状况的百分比正常 异常 具体值：内存利用

9、率内存利用状况的百分比正常 异常 具体值：系统事件无错误事件与不明登录事件正常 异常 日志文件设置已经运行正常，数据量正常正常 异常 磁盘卷组无处于失效状态的逻辑卷正常 异常 功能远程登录正常工作正常 异常 数据库正常工作正常 异常 数据备份最近备份时间： 年 月 日正常 异常 存储设备状态指示灯，硬盘指示灯检查正常 异常 HBA卡连接指示灯状况正常 异常服务Oracle数据库运行状况正常 异常 版本号：检查项结论备注2#数据库服务器冗余电源电源指示灯显示状况正常 异常 系统指示系统指示灯状况正常 异常 CPU利用率CPU利用状况的百分比正常 异常 具体值：内存利用率内存利用状况的百分比正常

10、异常 具体值：系统事件无错误事件与不明登录事件正常 异常 日志文件设置已经运行正常，数据量正常正常 异常 磁盘卷组无处于失效状态的逻辑卷正常 异常 功能远程登录正常工作正常 异常 数据库正常工作正常 异常 数据备份最近备份时间： 年 月 日正常 异常 存储设备状态指示灯，硬盘指示灯检查正常 异常 HBA卡连接指示灯状况正常 异常服务Oracle数据库运行状况正常 异常 版本号：检查项结论备注1#应用服务器冗余电源电源指示灯显示状况正常 异常 系统指示系统指示灯状况正常 异常 CPU利用率CPU利用状况的百分比正常 异常 具体值：内存利用率内存利用状况的百分比正常 异常 具体值：系统事件无错误事

11、件与不明登录事件正常 异常 日志文件设置已经运行正常，数据量正常正常 异常 磁盘卷组无处于失效状态的逻辑卷正常 异常 服务Weblogic运行状况正常 异常 版本号：Bpm运行状况正常 异常 版本号：检查项结论备注2#应用服务器冗余电源电源指示灯显示状况正常 异常 系统指示系统指示灯状况正常 异常 CPU利用率CPU利用状况的百分比正常 异常 具体值：内存利用率内存利用状况的百分比正常 异常 具体值：系统事件无错误事件与不明登录事件正常 异常 日志文件设置已经运行正常，数据量正常正常 异常 磁盘卷组无处于失效状态的逻辑卷正常 异常 服务Weblogic运行状况正常 异常 版本号：Bpm运行状况

12、正常 异常 版本号：检查项结论备注1#后台计算服务器冗余电源电源指示灯显示状况正常 异常 系统指示系统指示灯状况正常 异常 CPU利用率CPU利用状况的百分比正常 异常 具体值：内存利用率内存利用状况的百分比正常 异常 具体值：系统事件无错误事件与不明登录事件正常 异常 日志文件设置已经运行正常，数据量正常正常 异常 磁盘卷组无处于失效状态的逻辑卷正常 异常 服务Oracle客户端运行状况正常 异常 版本号：Tuxedo运行状况正常 异常 版本号：检查项结论备注2#后台计算服务器冗余电源电源指示灯显示状况正常 异常 系统指示系统指示灯状况正常 异常 CPU利用率CPU利用状况的百分比正常 异常

13、 具体值：内存利用率内存利用状况的百分比正常 异常 具体值：系统事件无错误事件与不明登录事件正常 异常 日志文件设置已经运行正常，数据量正常正常 异常 磁盘卷组无处于失效状态的逻辑卷正常 异常 服务Oracle客户端运行状况正常 异常 版本号：Tuxedo运行状况正常 异常 版本号：检查项结论备注前置服务器冗余电源电源指示灯显示状况正常 异常 系统指示系统指示灯状况正常 异常 CPU利用率CPU利用状况的百分比正常 异常 具体值：内存利用率内存利用状况的百分比正常 异常 具体值：系统事件无错误事件与不明登录事件正常 异常 日志文件设置已经运行正常，数据量正常正常 异常 磁盘卷组无处于失效状态的

14、逻辑卷正常 异常 服务Oracle客户端运行状况正常 异常 版本号：Tuxedo运行状况正常 异常 版本号：Redis运行状况正常 异常 版本号：Boost运行状况正常 异常 版本号：Thrift运行状况正常 异常 版本号：检查项结论备注磁盘阵列冗余控制A、B控制器状况正常 异常 系统指示系统指示灯状况正常 异常 光纤链接光纤链接端口指示灯状况正常 异常 磁盘卷组无处于失效状态的逻辑卷正常 异常 具体槽口：日志文件设置已经运行正常，数据量正常正常 异常 1.5数据库系统运维服务北京许继电气有限公司提供的数据库运行维护服务是包括主动数据库性能管理，数据库的主动性能管理对系统运维非常重要。通过主动

15、式性能管理可了解数据库的日常运行状态，识别数据库的性能问题发生在什么地方，有针对性地进行性能优化。同时，密切注意数据库系统的变化，主动地预防可能发生的问题。北京许继电气有限公司提供的数据库运行维护服务还包括快速发现、诊断和解决性能问题，在出现问题时，及时找出性能瓶颈，解决数据库性能问题，维护高效的应用系统。北京许继电气有限公司的数据库运行维护服务，主要工作是使用技术手段来达到管理的目标，以系统最终的运行维护为目标，提高用户的工作效率。具体数据库运行维护监控的基本服务内容包括：序号服务模块内容描述提供方1Oracle数据库7*24电话支持服务每周7天，每天24小时电话支持，电子邮件答询，以满足业

16、务发展的需要。根据问题的严重程度，将优先解决客户认为是关键而紧急的任务。对客户提出的一般性问题进行技术咨询、指导。定期的客户管理报告, 避免问题再度发生。北京许继电气有限公司2Oracle数据库产品现场服务响应数据库宕机数据坏块影响业务不能进行的产品问题软件产品的更新及维护。北京许继电气有限公司3Oracle数据库产品系统健康检查对系统的配置及运作框架提出建议，以帮助您得到一个更坚强可靠的运作环境降低系统潜在的风险，包括数据丢失、安全漏洞、系统崩溃、性能降低及资源紧张检查并分析系统日志及跟踪文件，发现并排除数据库系统错误隐患检查数据库系统是否需要应用最新的补丁集检查数据库空间的使用情况协助进行

17、数据库空间的规划管理检查数据库备份的完整性监控数据库性能确认系统的资源需求明确您系统的能力及不足优化Oracle Server的表现通过改善系统环境的稳定性来降低潜在的系统宕机时间北京许继电气有限公司4Oracle数据库产品性能调优分析用户的应用类型和用户行为评价并修改ORACLE数据库的参数设置评价并调整ORACLE数据库的数据分布评价应用对硬件和系统的使用情况，并提出建议培训用户有关性能调整的概念北京许继电气有限公司1.6中间件运维服务中间件管理是指对Weblogic、Tuxedo、Redis、Boost、Thrift等中间件的日常维护管理和监控工作，提高对中间件平台事件的分析解决能力，确

18、保中间件平台持续稳定运行。中间件监控指标包括配置信息管理、故障监控、性能监控。执行线程：监控WebLogic配置执行线程的空闲数量。JVM内存：JVM内存曲线正常，能够及时的进行内存空间回收。检查WEBLOG日志文件是否有异常报错如果有WEBLOG集群配置，需要检查集群的配置是否正常。执行线程：监控Tuxedo、Redis、Boost、Thrift等运行情况。2运维服务流程北京许继电气有限公司建议用户采用的服务方式为两种：一种为技术人员现场值守，另一种是定期巡检结合故障现场服务。技术人员现场值守运行维护服务的基本操作流程如下图所示：定期巡检结合故障现场运行维护服务的基本操作流程如下图所示：3服

19、务管理制度规范3.1服务时间(1)接收服务请求和咨询：在每周8 小时工作时间内接听服务请求，并记录服务内容和事件处理结果。(2)在非工作时间24 小时接听的移动电话并进行技术支持，用于解决内部的技术问题以及机房监控人员的机房突发情况汇报。(3)服务响应时间：故障级别响应时间故障解决时间I级：属于紧急问题；其具体现象为：系统崩溃导致业务停止、数据丢失。60分钟，4小时内提交故障处理方案24小时以内II级：属于严重问题；其具体现象为：出现部分部件失效、系统性能下降但能正常运行，不影响正常业务运作。60分钟，4小时内提交故障处理方案36小时以内III级：属于较严重问题；其具体现象为：出现系统报错或警

20、告，但业务系统能继续运行且性能不受影响。60分钟，4小时内提交故障处理方案48小时以内IV级：属于普通问题；其具体现象为：系统技术功能、安装或配置咨询，或其他显然不影响业务的预约服务。60分钟，4小时内提交故障处理方案5天内 技术支持人员在解决故障时，要最大限度保护好数据，做好故障恢复的文档，力争恢复到故障点前的业务状态。对于“系统瘫痪，业务系统不能运转”的故障级别，如果不能于24小时内解决故障，北京许继电气有限公司将在16小时内提出应急方案，确保业务系统的运行。故障解决后24小时内，提交故障处理报告。说明故障种类、故障原因、故障解决中使用的方法及故障损失等情况。3.2行为规范(1)遵守用户的

21、各项规章制度，严格按照用户相应的规章制度办事。(2)与用户运行维护体系其他部门和环节协同工作，密切配合，共同开展技术支持工作。(3)出现疑难技术、业务问题和重大紧急情况时，及时向负责人报告。(4)现场技术支持时要精神饱满，穿着得体，谈吐文明，举止庄重。接听电话时要文明礼貌，语言清晰明了，语气和善。(5)遵守保密原则。对被支持单位的网络、主机、系统软件、应用软件等的密码、核心参数、业务数据等负有保密责任，不得随意复制和传播。3.3现场服务支持规范运维服务人员要做到耐心、细心、热心的服务。工作要做到事事有记录、事事有反馈、重大问题及时汇报。严格遵守工作作息时间，严格按照服务工作流程操作。(1)现场

22、支持工程师应着装整洁、言行礼貌大方，技术专业，操作熟练、严谨、规范；现场支持时必须遵守用户单位的相关规章制度。(2)现场支持工程师在进行现场支持工作时必须在保证数据和系统安全的前提下开展工作。 (3)现场支持时出现暂时无法解决的故障或其他新的故障时，应告知用户并及时上报负责人，寻找其他解决途径。(4)故障解决后，现场支持工程师要详细记录问题的发生时间、地点、提出人和问题描述，并形成书面文档，必要时应向用户介绍故障出现的原因及预防方法和解决技巧。3.4问题记录规范根据使用人员提出问题的类别，将问题分为咨询类问题和系统缺陷类问题二类：咨询类问题是指通过服务热线或现场解疑等方式能够当场解决用户提出的

23、问题，具有问题解答直接、快速和实时的特点，该问题到现场支持人员处即可中止，对于该类问题的记录可使用咨询类问题记录模版进行记录。系统缺陷类问题是指使用人员提出的问题涉及到系统相应环节的确认修改，需要经过逐级提交、诊断、确认、处理和回复等环节，处理解决需要北京许继电气有限项目组的分析确认，问题有解决方案后，将解决方案反馈给用户。具体提交流程如下：(1)问题提交。应用运营监控系统的用户发现属于系统缺陷类的问题时，填写系统缺陷类问题提交单，提交服务支持中心。(2)问题分析。服务中心接到用户提交的问题单，要组织相应人员对问题单中描述的问题进行分析研判，确定问题的类型(技术问题、业务问题或者操作问题)。属

24、于技术问题，提交服务中心技术人员对存在的问题提出具体的处理意见和建议；属于业务问题，提交服务中心业务人员进行处理；属于操作问题，可安排相关人员对问题提出人进行解释，并将系统缺陷类问题提交单转为系统咨询类问题提交单。(3)问题确认、解决。服务中心的技术人员和业务人员收到系统缺陷类问题提交单后，对提交的问题进行归类汇总和分析、确认。可以解决的，明确问题解决的具体处理建议和措施，经主管领导签字同意后，交实施人员进行解决方案的实施。服务人员确认是否解决，并将解决方法附在系统缺陷类问题提交单上反馈给问题提出人员。(4)问题上报。服务人员收到经业务或技术人员确认的系统缺陷类问题提交单后，上报服务中心。(5

25、)问题回复。服务中心根据提交问题的进行分析，制定解决方案并进行实施的解决，同时做好变更记录。将解决方案汇总后及时向问题提交单位或问题交办单位作出回复，并将分析过程和问题产生原因一并提交。4应急服务响应措施北京许继电气有限公司已经针对本项目制定了详尽的设计、应急处理预案，整个流程严谨而有序。但是，在服务维护过程中，意外情况将难以完全避免。下面，我们将对项目实施的突发风险进行详细分析，并且针对各类突发事件，设计了相应的预防与解决措施，同时提供了完整的应急处理流程。4.1应急基本流程维护服务应急处理流程4.2预防措施针对系统维护服务过程中可能遇到的各种各样的风险，北京许继电气有限公司总结多年维护服务

26、经验，针对一些可能出现的情况，制定了一系列预防处理措施，举例如下：类型事件预防措施处理应用软件无法启动软件可执行文件维护人员提前准备好各类需维护软件安装程序将应用软件数据文件备份后，重新安装软件打开过程中或运行中异常错误关闭维护人员准备好安装程序，操作系统优化和修补软件，查杀病毒软件判断出错原因，备份数据，采取相关修复措施操作系统使用者本机操作系统异常或系统资源占用严重准备好系统检查程序及修补程序，以及查杀病毒软件告知使用者错误原因可能类型，提出解决方案，经使用者认可后采取相应措施B/S结构系统，IE浏览器异常或无法下载控件准备流氓软件清理程序、修复浏览器软件、查杀病毒软件检查IE浏览器选项设

27、置，分析原因进行修复网络或服务器B/S结构系统网络流量异常或服务器登录异常判断服务器是否异常，否则准备杀毒软件检查网络流量，流量异常小则报修网络服务商，流量异常大则查杀病毒4.3突发事件应急策略系统运维应急方案是对中断或严重影响业务的故障，如宕机、数据丢失、业务中断等，进行快速响应和处理，在最短时间内恢复业务系统，将损失降到最低。在系统维护过程中，突发事件的出现将是很难完全避免的，针对这种情况，北京许继电气有限公司设计了完善的突发事件应急策略。系统巡检人员要定期规范检查各硬件设备的运转情况和应用软件运行情况，同时做好日常的数据增量备份和定期全备份。对发现的问题在报各级负责人的同时，要协调相关资源分析问题根源，确定解决方案和临时解决措施，避免造成更大的影响。问题得到稳定或彻底解决后，要形成问题汇报，避免以后类似重大紧急情况的发生。对发现的问题在报负责人的同时，要协调相关