现网重大操作服务规范-V1.3.pptx
《现网重大操作服务规范-V1.3.pptx》由会员分享,可在线阅读,更多相关《现网重大操作服务规范-V1.3.pptx(19页珍藏版)》请在冰点文库上搜索。
工程服务业务管理,现网重大操作服务规范,现网重大操作规范现网重大操作定义,定义:
现网重大操作指针对现网运行的系统设备进行操作,其失败的影响将导致客户业务的重大损失或引起重要客户投诉。
(注:
重大操作与实施动作的繁简或大小无必然的关系,一个极简单或小的动作,如复位,只要其失败的影响达到规定的程度,就属于重大操作。
)一般同时符合下面条件a)、b)和c),或者符合d)、e)、f)之一,可以确定为重大操作:
a)客户:
指公司定为“S级”、“A级”的客户。
b)地域:
网络处于较大范围内的政治、经济、文化中心城市。
c)动作:
重大动作,如:
设备入网割接、网络调整与改造、对核心部件操作、版本升级实施d)范围:
公司确定的“一级网络”的重大动作。
e)时间:
重大节日(如国庆)、重大市场活动期间(如招标、对比测试、客户或国家领导视察、奥运保障等),或是客户有特殊要求的时间限制。
f)变更:
对上述重大操作计划的临时变更。
现网重大操作规范现网重大操作定义,定义:
操作窗口指一次有计划的对现网操作的时间段。
重大操作窗口应计划在业务影响最小时段。
例如:
割接时间规定在夜里0点-4点进行。
定义:
计划中断指一个与客户商定的计划性的维护、安装或人工初始化所导致的一次性的中断,其特征是中断时间得到客户认可,并且客户为此做了充分的准备。
提示:
只要中断的时间超出计划范围,即需要向公司报告故障。
现网重大操作规范角色及职责,角色:
客户支持中心客户支持管理总监负责在公司内部发布和更新公司确定的“一级网络”。
(注:
网络服务中心和客户支持中心共同确定的一级网络)。
角色:
网络服务部及研发的技术支持专家指负责技术支持的网络服务部及研发的后方技术支持专家等相关人员,负责后方人员安排、重大操作实施方案审核、后方技术支持及操作通报工作。
对于风险较高的重大操作,后方技术支持专家必须包括研发人员,具体由网络服务中心总工决定。
角色:
代表处/办事处副国代/副经理指营销事业部代表处/办事处四层领导,负责现网重大操作的现场指导或远程指挥工作,及出现重大操作失败后的善后处理工作。
现网重大操作规范角色及职责,角色:
代表处/办事处及网络服务部的现场工程师在现场负责重大操作实施的营销事业部代表处/办事处及网络服务部的工程师,负责重大操作的组织、实施及相关客户沟通汇报工作,是重大操作的现场负责人。
角色:
营销网络服务处的产品总监负责现网重大操作的监控实施工作,及出现重大操作失败后的善后协助工作。
角色:
客户负责重大操作实施的审核确认工作及其配合人员的协调工作。
其代表人员可以是负责重大操作的客户方运维工程师、主管及相关领导。
现网重大操作规范现网重大操作流程,是否回退,Q/ZX01893-2015,客户,重大操作现场工程师,网络服务部及研发的技术支持专家,现场负责的副国代/副经理,网络服务处产品总监,现场重大操作需求,重大操作申请及方案制作,XOR,是,XOR,判断是否继续申请,否,申请现场服务,审核现场服务申请,放弃申请,申请终止,XOR,不同意,同意,准备重大操作,发布重大操作公告,监控现场重大操作,部署实施,支持保障重大操作,完成支持,执行现场重大操作,测试正常,测试异常,否,执行回退方案,反馈操作结果,确认操作结果,回退失败,回退成功,ITR客户问题处理,重大操作总结报告,审核重大操作方案并安排支持保障,审核未通过,审核通过,现网重大操作规范现网重大操作管理要求,由重大操作负责人根据产品技术手册、操作指导手册、模板等组织拟定。
重大操作实施方案主要包含如下内容:
重大操作概述,简要描述其背景、目的;现场操作组织,明确具体操作、值守、保障、配合等人员及任务安排(含客户侧);现网运行情况,列明现网拓扑图、应用场景、业务、硬件配置情况和软件配置情况,包括软、硬件版本的说明,现网健康检查结果及分析等;准备工作描述,包括我司和客户需要准备的,如工具、备板备件、通告等落实到位;实施步骤,详细列出实施步骤、时间点以及注意事项;业务验证,业务测试、验证和KPI指标观察的内容;应急预案,提供详细的应急方案,包括触发预案的条件、应急退回方案。
要求1:
现网重大操作的实施方案,现网重大操作规范现网重大操作管理要求,应填写“现场服务申请”,现场提交或邮件发送给客户,并获得客户签字或邮件确认同意。
应制定重大操作方案,确保了解设备组网、配置和版本情况、历史维修记录和历史遗留问题文档,查阅相关“用服技术通知单”,尤其要注意是否有特殊版本或版本补丁等特殊设置的地方等。
重大操作前应对现网进行健康检查,如告警、网络性能、运行安全、配置参数等,杜绝隐患,并进行必要的备份,避免意外情况。
特殊情况,如“现场环境条件不具备,但重大操作又必须执行”,需营销发起会签,由营销主管三层领导、网络服务部主管领导、研发主管领导进行会签审批,由办事处/代表处主管四层领导亲自担任操作负责人。
要求2:
现网重大操作的准备,现网重大操作规范现网重大操作管理要求,重大操作应与客户充分沟通,落实客户配合:
重大操作需要在客户的技术支持人员的配合下进行;需要向客户了解设备运行特性和环境,取得相关接口信息,完成必备数据准备工作。
要求客户提前做好对可能受到影响的用户的通知工作。
要求3:
客户配合,现网重大操作规范现网重大操作管理要求,现网重大操作的行为应遵照“Q/ZX00018售后现场服务行为通用规范”。
在客户机房实施服务时,应要求客户维护责任人陪同或者提供协助。
涉及到操作客户设备,应在现场服务申请中注明,经过客户主管领导的同意。
检查问题时应采取必要的备份、风险预防措施,不得擅自执行超出实施方案外的操作。
重大操作的操作窗口期应按照行业默许规定时间范围(一般为00:
00-04:
00)确定。
办事处应监管网络服务中心、研发的人员到现场支持的行为,如果网络服务中心、研发的人员未按照“售后现场服务行为通用规范”进行操作,办事处/代表处负第一责任。
重大操作后,必须对现网指标进行监控,根据客户和网络的需求,合理安排职守人员;在确认设备稳定运行,指标恢复后,方能离开现场,重大操作后的网络指标恢复以第二天早晚忙时的指标恢复为准。
重大操作除遵照公司相关规定外,还应按照客户的管理要求执行。
要求4:
现网重大操作的现场行为,现网重大操作规范现网重大操作管理要求,现网重大操作导致故障,按规定处理:
若重大操作导致业务中断,且中断时间累计时间超过了计划中断时间,即认为产生了故障。
重大操作过程中遇到问题,应立即停止相关操作并启动故障处理流程,随即将问题的影响范围通知办事处科长、服务总监、副经理,网络服务部支持部门相关科长和总工、产品线工程总监、研发故障经理及工程服务处相关产品总监。
若是关键故障,则应立即向全球客户支持中心申告。
处理故障禁止盲目动手操作,避免引起新故障或者出现意外事故。
要求5:
现网重大操作的故障处理,现网重大操作规范现网重大操作管理要求,应杜绝重大操作的安全漏洞,例如,防止超级用户操作权限泄露给客户网络管理人员,避免其使用特权非法更改业务数据。
应及时获取和尊重客户的决定,必要时,取得客户决策凭据。
例如,重大操作失败后是否重新操作、是否回退等,避免超出计划性中断范围。
重大问题和事故的总结(给客户的除外)必须采用加密文档传递,禁止不加密的邮件传递。
要求6:
安全管理,现网重大操作规范现网重大操作三个禁止、八个必须,重大操作:
包括但不限于以下情况:
割接、升级、扩容、重启、插拔、倒换、传表、修改安全变量、修改定时器、在线数据配置等。
三个禁止:
禁止白天进行重大操作。
禁止封网期间进行重大操作。
禁止没有方案情况下进行重大操作。
八个必须:
重大操作必须得到客户随工、办事处项目经理和部门科长总工的确认。
进行数据修改前,必须备份数据,检查是否已有变化表。
进行数据传表前,必须再次核查所修改数据的正确性。
必须进行业务测试及验证。
必须分析异常呼损、告警。
必须分析性能统计数据,关注指标的异常波动。
完成升级、扩容、割接等操作后的第一个24小时,必须保证现场值守。
现场出现紧急情况后,现场人员必须第一时间将信息上报到科长和总工。
现网重大操作规范现网重大操作定义,案例1:
设备割接入网事件:
某城市传输城域网瘫局。
当日晚上零点设备割接入网,在割接过程中数据配置错误导致割接失败回退,由于恢复时间过长导致CDMA网络发生了长时间、大面积的掉站,造成了严重影响。
影响:
业务中断达到12个小时,教训:
1、重大网络割接前由产品总工、研发故障经理、首席专家等组成后台支撑小组。
2、重大故障应及时报告,执行告警通报程序。
3、割接入网影响大,属于重大操作,需要严格规范动作。
现网重大操作规范现网重大操作定义,案例2:
版本升级事件:
某现网升级失败导致重大故障。
由于事前准备不充分,近5点时才急忙升级第2个站点,采用了指导书中另外一种耗时少但未经验证的操作步骤。
5:
45引起业务中断,经回退后7:
35左右才恢复了业务。
影响:
升级失败且造成了业务中断。
教训:
1、升级前未按要求完成数据转换等准备工作,升级方案未将操作步骤具体到时间计划。
2、升级指导书提供了未经验证的操作步骤。
3、一般升级操作应在04点间完成,预留2个小时的测试验证,现场不应在4点后冒进升级第2个站点。
现网重大操作规范现网重大操作定义,案例3:
擅自修改配置数据导致站点中断事件:
某地客户机房现场,我司某员工未告知客户随工人员,未作仔细核对分析情况下,擅自修改配置数据,导致某局发生大面积基站中断,故障历时7分钟。
影响:
对中兴通讯维保服务续签带来很大负面影响;需要投入大量人力进行善后工作教训:
1、重大操作需要在客户的技术支持人员的配合下进行;需要向客户了解设备运行特性和环境,取得相关接口信息,完成必备数据准备工作。
2、应制定重大操作方案,确保了解了设备组网、配置和版本情况、历史维修记录和历史遗留问题文档。
3、重大操作前应对现网进行健康检查,如告警、网络性能、运行安全、配置参数等,杜绝隐患,并进行必要的备份,避免意外情况。
现网重大操作规范现网重大操作定义,案例4:
重大操作请求过期,没有重新申请,导致客户投诉。
事件:
某项目需要进行某参数修改,修改此参数会导致网络中断业务约1小时。
某工程师在1个月以前跟客户申请了操作申请,由于某些原因没有按照操作申请规定的时间进行参数修改。
1个月后,该工程师以为操作申请还在有效期内,在没有通知客户的情况下进行了数据修改,结果导致100多个站点业务中断,导致了客户的重大投诉。
影响:
100个站点业务中断1小时。
教训:
1、重大操作规范需要严格遵守。
2、在任何影响现网的操作之前需要重新检查活动的申请是否在有效期内。
3、任何可能影响现网的操作之前需要通知客户。
结束语,行为规范是众多工程师经验的积累更多的意义在于行动:
在行动中发现!
在行动中掌握!
在行动中升华!
祝愿各位成功!