政务云服务质量评价规范试行.docx

1、政务云服务质量评价规范试行附件9：政务云服务质量评价规范（试行）2012年11月一、 概述1.1 目的明确指标的设定原则，对指标分类、度量方法、评价方法等进行规范性描述，用以对服务质量、服务能力进行评价，规范运营企业的运维服务工作。1.2 范围重点监督、管理和评价运营企业的云服务提供过程，兼顾运营企业的云服务提供能力。适合于以下使用者：1. 用户单位申请采购和使用政务云服务的政府部门和行政事业单位。2. 管理单位对政务云建设和运营服务进行指导、监督和管理的单位。3. 运维单位提供政务云运维服务的服务提供商。二、 术语和定义术语名称定义服务与服务承诺有关的活动、工作或义务的实施，例如软件的开发、

2、维护和操作。服务承诺一个可视的、并希望各方遵守的协议。服务计划维护交付产品所使用的说明管理方法和技术途径的文档。典型的维护计划内容包括：工具、资源、设施及日程。运维基线启动运维时刻系统配置环境描述、软硬件版本说明及当前运行程序、源码的备份，匹配版本的系统软件备份，以及其他与运维有关的配置项。原因分析为确定缺陷的根源所作的缺陷分析。影响度就所影响的用户或业务数量而言，事件偏离正常服务级别的程度。紧急度解决故障时，对用户或业务来说可接受的最短耽搁时间。可用性软件（系统或部件）在投入使用时可操作和可访问的程度或能实现其指定的系统功能的概率；系统正常工作时间和总的运行时间之比；在运行时，某一配置项实现

3、指定功能的能力。服务级别协议与客户之间签订的描述将要提供的一项或多项服务的一份协议。运维工作说明书纲要 侧重运维工作计划和维护工作规程，适用于服务合同附件蓝本（1）范围：注意套用服务内容及等级划分，定义服务响应和保障层级（2）工作计划：what、when、who、why、how、where（3）运维资源：人力资源、运维对象的运行环境、输出文档、工具资源（4）工作界面及服务交付说明运维工具明确运维目标实现和质量保障的支撑工具客户运维服务工作规程（1）组成维护过程的活动包括：过程实施、问题和修改分析、修改实现、维护评审和确认、退役、迁移；（2）修改请求/问题报告规程（3）配置管理规程（4）服务结果

4、验证过程服务度量对服务过程、能力、质量进行度量、评价运维工作模版修改请求分析模版、问题报告模版、软件迁移计划模版三、 设定原则“政务云服务质量评价规范”的设定原则是： 系统性原则 实用性原则 稳定性原则 一致性原则 易度量原则四、 监管要素与评价指标列表云服务的监管评价过程上表现为：通过采集运维服务过程数据和服务能力数据，对运维服务过程进行监管，对服务能力进行评估、评价，进而对云服务进行诊断。监管要素是运维服务过程中需要进行重点监管的元素，评价指标用于对服务能力的评估、评价。监管要素和评价指标两者互相对应，其中，评价指标用于对监管要素的量化评价。4.1 服务能力评价指标服务能力评价指标是指衡量

5、云服务的静态指标，主要是对企业资质、运维服务综合能力、运维服务管理制度、运维服务支撑工具、服务人员和知识管理等监管要素进行评价。指标名称度量方法评价方法对应的监管要素数据来源1. 国际行业认证直接度量认证的数量根据认证数量，进行人工评价企业资质人工录用、维护2. 国际产品认证直接度量认证的数量根据认证数量，进行人工评价企业资质人工录用、维护3. 国家行业认证直接度量认证的数量根据认证数量，进行人工评价企业资质人工录用、维护4. 国家产品认证直接度量认证的数量根据认证数量，进行人工评价企业资质人工录用、维护5. 其他资质认证直接度量认证的数量根据认证数量，进行人工评价企业资质人工录用、维护6.

6、企业注册资金直接度量根据资金规模，进行人工评价运维服务综合能力人工录用、维护7. 企业年度总营业额按年度直接度量根据年度总营业额，进行人工评价运维服务综合能力人工录用、维护8. 企业员工总数直接度量根据企业员工总数，进行人工评价运维服务综合能力人工录用、维护9. 从事运维服务年限以开始提供运维服务的年度为基准计算出从事运维服务年限根据年限，进行人工评价运维服务综合能力人工录用、维护10. 年度运维服务营业额按年度直接度量根据营业额规模，进行人工评价运维服务综合能力人工录用、维护11. 年度运维服务营业额比例年度运维服务营业额与企业年度总营业额的比值根据营业额比例，进行人工评价运维服务综合能力人

7、工录用、维护12. 年度运维服务项目数度量年度内运维服务类项目的数量根据项目数量，进行人工评价运维服务综合能力人工录用、维护13. 单个运维服务项目合同金额度量单个运维服务项目合同金额在一定数量级以上的项目数量根据资金规模一定数量级以上的项目数量，进行人工评价运维服务综合能力人工录用、维护14. 服务管理规范与制度直接度量相应的制度、规范、操作说明书的数量根据服务管理规范与制度清单，进行人工评价运维服务管理制度人工录用、维护15. 云服务管理的支撑工具直接度量使用的云服务管理支撑工具根据云服务管理的支撑工具清单，进行人工评价运维服务支撑工具人工录用、维护16. 运维服务人员数量直接度量根据人员

8、数量，进行人工评价服务人员人工录用、维护17. 运维服务人员占公司员工比例运维服务人员数量/公司员工总数根据人员比例，进行人工评价服务人员人工录用、维护18. 不同级别的人员数量按运维服务人员级别，度量不同级别的人员数量。根据各级别人员数量，进行人工评价服务人员人工录用、维护19. 不同服务内容类别的人员数量按运维服务内容类别，不同内容的服务人员数量根据不同服务内容类别的人员数量，进行人工评价服务人员人工录用、维护20. 一定任职年限的服务人员数量直接度量在一定任职年限的服务人员数量根据不同任职年限的服务人员数量，进行人工评价服务人员人工录用、维护21. 年度运维服务人员流失率年度运维服务离职

9、人员数量/运维服务人员数量根据比值，进行人工评价服务人员人工录用、维护22. 国际行业认证服务人员数量直接度量根据数量，进行人工评价服务人员人工录用、维护23. 国际产品认证服务人员数量直接度量根据数量，进行人工评价服务人员人工录用、维护24. 国家行业认证服务人员数量直接度量根据数量，进行人工评价服务人员人工录用、维护25. 国家产品认证服务人员数量直接度量根据数量，进行人工评价服务人员人工录用、维护26. 其他资质认证服务人员数量直接度量根据数量，进行人工评价服务人员人工录用、维护27. 运维知识数量按不同项目直接度量根据数量，进行人工评价知识管理作业系统接口28. 知识的被使用次数按不同

10、项目直接度量根据次数，进行人工评价知识管理作业系统接口4.2 服务过程评价指标云服务过程评价指标是指衡量云服务的动态指标，主要是对事件管理、问题管理、变更管理、合作伙伴管理、客户满意度管理、客户投诉管理、值班管理、作业计划管理、应急预案管理和培训管理等监管要素进行评价。指标名称度量方法评价方法对应的监管要素数据来源1. 事件数量分布按照时间跨度、不同项目对事件的数量进行度量通过事件数量分布情况评价不同项目、不同时间段的服务工作负荷事件管理作业系统接口2. 平均每位服务人员事件数量未关闭事件数量/与服务人员总数量反映了当前服务人员工作负荷状况事件管理作业系统接口3. 事件关闭率已关闭事件数量/所

11、有事件数量评价不同项目、不同时间段的服务工作效率事件管理作业系统接口4. 一线事件关闭率一线关闭事件总数/关闭事件总数通过比率大小衡量一线员工的处理能力高低事件管理作业系统接口5. 非现场事件关闭率非现场（远程支持、电话支持和邮件支持）关闭事件总数/关闭事件总数通过比率大小衡量远程服务的比例事件管理作业系统接口6. 现场事件一次关闭率现场一次性关闭事件数量/所有现场关闭事件数量评价现场服务的效果事件管理作业系统接口7. 事件按期关闭率在与用户约定的期限内关闭事件的数量/关闭事件总数通过比率衡量服务质量事件管理作业系统接口8. 事件延期关闭率在与用户约定的期限外关闭事件的数量/关闭事件总数通过比

12、率衡量服务质量事件管理作业系统接口9. 事件平均关闭时间按不同项目度量其运维服务事件的总耗时/事件总数通过平均关闭时间的长短反映事件的复杂程度和事件的处理效率事件管理作业系统接口10. 现场事件平均关闭时间所有现场事件处理所花费的时间之和/所有现场事件数量通过平均关闭时间来评价现场处理效率事件管理作业系统接口11. 由事件导致的变更数量所有由事件导致的变更数量反映事件对变更的影响事件管理作业系统接口12. 问题数量分布按照时间跨度，统计问题数量根据问题分布特点，进行人工评价问题管理作业系统接口13. 主动性问题所占比率主动性问题总数/问题总数通过比率大小衡量主动运维的能力问题管理作业系统接口1

13、4. 已知错误所占比率已知错误的总数/所有问题总数通过比率大小衡量问题管理能力问题管理作业系统接口15. 永久性修复率永久性解决问题总数/问题总数通过比率大小衡量问题管理能力问题管理作业系统接口16. 临时性修复率临时性解决问题总数/问题总数通过比率大小衡量问题管理能力问题管理作业系统接口17. 问题关闭率已解决问题总数/问题数量总数通过比率大小衡量问题管理能力问题管理作业系统接口18. 问题平均解决时间已解决问题的总耗时/已解决问题总数通过比率大小衡量问题解决效率问题管理作业系统接口19. 变更数量分布一定时期内，变更数量的总和通过变更数量分布，进行人工评价变更管理作业系统接口20. 标准变

14、更比率标准变更数量/所有变更数量通过比率大小，进行人工评价变更管理作业系统接口21. 非标准变更比率非标准变更数量/所有变更数量通过比率大小，进行人工评价变更管理作业系统接口22. 紧急变更所占比率紧急变更数量/所有变更数量通过比率大小，进行人工评价变更管理作业系统接口23. 引发变更的事件数量一定时期内，引发变更的事件总数通过比率大小，进行人工评价变更管理作业系统接口24. 引发变更的问题数量一定时期内，引发变更的问题总数通过比率大小，进行人工评价变更管理作业系统接口25. 合作伙伴事件平均关闭时间合作伙伴事件的总耗时/事件总数反映合作伙伴的事件处理效率合作伙伴管理作业系统接口26. 合作伙

15、伴事件关闭率合作伙伴已解决事件数量/所有事件数量反映合作伙伴的事件处理效果合作伙伴管理作业系统接口27. 服务满意度客户向回访专线反映服务满意的数量/用户提交的所有事件数量按时间区间，反映客户满意度客户满意度管理作业系统接口28. 客户投诉数量客户向投诉专线反映对服务不满意的数量按时间区间，按项目反映客户投诉的情况客户投诉管理人工录用、维护29. 值班的人次数合计按时间段，按项目度量按时间区间，反映提供值班服务的情况值班管理作业系统接口30. 值班的时间合计按项目对值班事件的时间进行累计通过值班时间合计，进行人工评价值班管理作业系统接口31. 作业计划数量按时间段、按项目度量用以衡量主动运维的

16、数量作业计划管理作业系统接口32. 作业计划完成率完成的作业计划数/总的作业计划数量用以衡量主动运维的效果作业计划管理作业系统接口33. 应急预案数量使用状态：启用、使用、停用，关联到项目，进行度量用以衡量主动运维的情况应急预案管理作业系统接口34. 用户培训的累计次数按时间、按项目进行度量通过培训服务次数分布，人工评价培训管理作业系统接口35. 用户培训的总时间按时间、按项目进行度量通过培训服务时间分布，人工评价培训管理作业系统接口五、 运维服务评价指标体系云服务服务的评价指标体系由任务级、项目级、组织级和企业级四个维度的评价指标共同构成。本章从上述的四个维度对云服务的评价指标体系与指标分类

17、进行说明。5.1 任务级评价指标任务级的运维服务评价指标以事件为单位，对应于云服务事件。指标名称度量方法评价方法建议比率1. 事件数量分布按照时间跨度、不同项目对事件的数量进行度量通过事件数量分布情况评价不同项目、不同时间段的服务工作负荷不设定2. 事件关闭率已关闭事件数量/所有事件数量评价不同项目、不同时间段的服务工作效率高于90%3. 一线事件关闭率一线关闭事件总数/关闭事件总数通过比率大小衡量一线员工的处理能力高低高于50%4. 非现场事件关闭率非现场（远程支持、电话支持和邮件支持）关闭事件总数/关闭事件总数通过比率大小衡量远程服务的比例低于30%5. 现场事件一次关闭率现场一次性关闭事

18、件数量/所有现场关闭事件数量评价现场服务的效果高于80%6. 事件按期关闭率在与用户约定的期限内关闭事件的数量/关闭事件总数通过比率衡量服务质量高于80%7. 事件延期关闭率在与用户约定的期限外关闭事件的数量/关闭事件总数通过比率衡量服务质量低于20%8. 事件平均关闭时间按不同项目度量其运维服务事件的总耗时/事件总数通过平均关闭时间的长短反映事件的复杂程度和事件的处理效率不设定9. 现场事件平均关闭时间所有现场事件处理所花费的时间之和/所有现场事件数量通过平均关闭时间来评价现场处理效率不设定10. 由事件导致的变更数量所有由事件导致的变更数量反映事件对变更的影响不设定11. 合作伙伴事件平均

19、关闭时间合作伙伴事件的总耗时/事件总数反映合作伙伴的事件处理效率不设定12. 合作伙伴事件关闭率合作伙伴已解决事件数量/所有事件数量反映合作伙伴的事件处理效果80%13. 服务满意度客户向回访专线反映服务满意的数量/用户提交的所有事件数量按时间区间，反映客户满意度90%5.2 项目级评价指标项目级评价指标以云服务项目为单位，对应于该云服务项目相关的多个云服务事件。指标名称度量方法评价方法建议比率1. 单个运维服务项目合同金额度量单个运维服务项目合同金额在一定数量级以上的项目数量根据资金规模一定数量级以上的项目数量，进行人工评价不设定2. 事件数量分布按照时间跨度、不同项目对事件的数量进行度量通

20、过事件数量分布情况评价不同项目、不同时间段的服务工作负荷不设定3. 事件关闭率已关闭事件数量/所有事件数量评价不同项目、不同时间段的服务工作效率高于80%4. 一线事件关闭率一线关闭事件总数/关闭事件总数通过比率大小衡量一线员工的处理能力高低高于60%5. 非现场事件关闭率非现场（远程支持、电话支持和邮件支持）关闭事件总数/关闭事件总数通过比率大小衡量远程服务的比例低于80%6. 现场事件一次关闭率现场一次性关闭事件数量/所有现场关闭事件数量评价现场服务的效果高于20%7. 事件按期关闭率在与用户约定的期限内关闭事件的数量/关闭事件总数通过比率衡量服务质量高于90%8. 事件延期关闭率在与用户

21、约定的期限外关闭事件的数量/关闭事件总数通过比率衡量服务质量低于10%9. 事件平均关闭时间按不同项目度量其运维服务事件的总耗时/事件总数通过平均关闭时间的长短反映事件的复杂程度和事件的处理效率不设定10. 现场事件平均关闭时间所有现场事件处理所花费的时间之和/所有现场事件数量通过平均关闭时间来评价现场处理效率不设定11. 由事件导致的变更数量所有由事件导致的变更数量反映事件对变更的影响不设定12. 问题数量分布按照时间跨度，统计问题数量根据问题分布特点，进行人工评价不设定13. 已知错误所占比率已知错误的总数/所有问题总数通过比率大小衡量问题管理能力低于20%14. 永久性修复率永久性解决问

22、题总数/问题总数通过比率大小衡量问题管理能力高于50%15. 临时性修复率临时性解决问题总数/问题总数通过比率大小衡量问题管理能力低于50%16. 问题关闭率已解决问题总数/问题数量总数通过比率大小衡量问题管理能力高于80%17. 问题平均解决时间已解决问题的总耗时/已解决问题总数通过比率大小衡量问题解决效率不设定18. 变更数量分布一定时期内，变更数量的总和通过变更数量分布，进行人工评价不设定19. 标准变更比率标准变更数量/所有变更数量通过比率大小，进行人工评价高于80%20. 非标准变更比率非标准变更数量/所有变更数量通过比率大小，进行人工评价低于15%21. 紧急变更所占比率紧急变更数

23、量/所有变更数量通过比率大小，进行人工评价低于5%22. 引发变更的事件数量一定时期内，引发变更的事件总数通过比率大小，进行人工评价不设定23. 引发变更的问题数量一定时期内，引发变更的问题总数通过比率大小，进行人工评价不设定24. 合作伙伴事件平均关闭时间合作伙伴事件的总耗时/事件总数反映合作伙伴的事件处理效率不设定25. 合作伙伴事件关闭率合作伙伴已解决事件数量/所有事件数量反映合作伙伴的事件处理效果高于70%26. 服务满意度客户向回访专线反映服务满意的数量/用户提交的所有事件数量按时间区间，反映客户满意度高于80%27. 客户投诉数量客户向投诉专线反映对服务不满意的数量按时间区间，按项

24、目反映客户投诉的情况不设定28. 值班的人次数合计按时间段，按项目度量按时间区间，反映提供值班服务的情况不设定29. 值班的时间合计按项目对值班事件的时间进行累计通过值班时间合计，进行人工评价不设定30. 作业计划数量按时间段、按项目度量用以衡量主动运维的数量不设定31. 作业计划完成率完成的作业计划数/总的作业计划数量用以衡量主动运维的效果高于90%32. 应急预案数量使用状态：启用、使用、停用，关联到项目，进行度量用以衡量主动运维的情况不设定33. 用户培训的累计次数按时间、按项目进行度量通过培训服务次数分布，人工评价不设定34. 用户培训的总时间按时间、按项目进行度量通过培训服务时间分布

25、，人工评价不设定5.3 组织级评价指标组织级评价指标以一个运营组织为单位，对应于该云服务组织提供的多个云服务项目。指标名称度量方法评价方法建议比率1. 国际行业认证直接度量认证的数量根据认证数量，进行人工评价不设定2. 国际产品认证直接度量认证的数量根据认证数量，进行人工评价不设定3. 国家行业认证直接度量认证的数量根据认证数量，进行人工评价不设定4. 国家产品认证直接度量认证的数量根据认证数量，进行人工评价不设定5. 其他资质认证直接度量认证的数量根据认证数量，进行人工评价不设定6. 企业注册资金直接度量根据资金规模，进行人工评价不设定7. 企业年度总营业额按年度直接度量根据年度总营业额，进

26、行人工评价不设定8. 企业员工总数直接度量根据企业员工总数，进行人工评价不设定9. 从事运维服务年限以开始提供运维服务的年度为基准计算出从事运维服务年限根据年限，进行人工评价不设定10. 年度运维服务营业额按年度直接度量根据营业额规模，进行人工评价不设定11. 年度运维服务营业额比例年度运维服务营业额与企业年度总营业额的比值根据营业额比例，进行人工评价不设定12. 年度运维服务项目数度量年度内运维服务类项目的数量根据项目数量，进行人工评价不设定13. 单个运维服务项目合同金额度量单个运维服务项目合同金额在一定数量级以上的项目数量根据资金规模一定数量级以上的项目数量，进行人工评价不设定14. 服

27、务管理规范与制度数量直接度量相应的制度、规范、操作说明书的数量根据服务管理规范与制度清单，进行人工评价有15. 云服务管理的支撑工具直接度量使用的云服务管理支撑工具根据云服务管理的支撑工具清单，进行人工评价有16. 运维服务人员数量直接度量根据人员数量，进行人工评价不设定17. 运维服务人员占公司员工比例运维服务人员数量/公司员工总数根据人员比例，进行人工评价不设定18. 不同级别的人员数量按运维服务人员级别，度量不同级别的人员数量。根据各级别人员数量，进行人工评价不设定19. 不同服务内容类别的人员数量按运维服务内容类别，不同内容的服务人员数量根据不同服务内容类别的人员数量，进行人工评价不设

28、定20. 一定任职年限的服务人员数量直接度量在一定任职年限的服务人员数量根据不同任职年限的服务人员数量，进行人工评价不设定21. 年度运维服务人员流失率年度运维服务离职人员数量/运维服务人员数量根据比值，进行人工评价低于10%22. 国际行业认证服务人员数量直接度量根据数量，进行人工评价不设定23. 国际产品认证服务人员数量直接度量根据数量，进行人工评价不设定24. 国家行业认证服务人员数量直接度量根据数量，进行人工评价不设定25. 国家产品认证服务人员数量直接度量根据数量，进行人工评价不设定26. 其他资质认证服务人员数量直接度量根据数量，进行人工评价不设定27. 新增知识数量按不同运维服务内容类别直接度量根据数量，进行人工评价不设定28. 知识的被使用次数按不同运维服务内容类别直接度量根据次数，进行人工评价不设定29. 事件数量分布