中国移动核心网NFV试点可靠性测试规范NFV平台分册v100Word格式文档下载.docx
《中国移动核心网NFV试点可靠性测试规范NFV平台分册v100Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《中国移动核心网NFV试点可靠性测试规范NFV平台分册v100Word格式文档下载.docx（53页珍藏版）》请在冰点文库上搜索。
8.3.4设备重启时间（接入/核心）12
8.3.5主，备控制引擎切换（核心）13
8.3.6交换板冗余备份（核心）13
8.3.7风扇热插拔（核心）14
8.3.8单网口或单链路故障（接入/核心）14
8.4虚拟层故障处理15
8.4.1计算节点主机文件系统分区不可用时告警以及恢复15
8.4.2计算节点故障处理16
8.4.2.1计算节点上的OpenStack关键进程故障16
8.4.3管理节点故障处理17
8.4.3.1管理节点OpenStack关键进程故障17
8.5MANO故障处理18
8.5.1MANO服务器节点故障18
8.5.1.1MANO服务器节点故障–NFVO+18
8.5.1.2MANO服务器故障-VNFM（负荷分担关系）19
8.5.1.3MANO服务器故障-VNFM（主备关系）20
8.5.1.4MANO服务器非关键部件故障-NFVO+/VNFM21
8.5.2MANO虚拟机故障22
8.5.2.1虚拟机内核故障-NFVO+22
8.5.2.2虚拟机内核故障–VNFM（负荷分担关系）23
8.5.2.3虚拟机内核故障–VNFM（主备关系）23
8.5.2.4虚拟网卡故障–NFVO+24
8.5.2.5虚拟网卡故障–VNFM（负荷分担关系）25
8.5.2.6虚拟网卡故障–VNFM（主备关系）26
8.5.3MANO应用软件故障27
8.5.3.1单业务进程故障-NFVO+27
8.5.3.2单业务进程故障-VNFM（负荷分担关系）27
8.5.3.3单业务进程故障-VNFM（主备关系）28
8.5.3.4主用业务进程故障-NFVO+29
8.5.3.5主用业务进程故障-VNFM（负荷分担关系）29
8.5.3.6主用业务进程故障-VNFM（主备关系）30
8.5.3.7数据库异常终止-NFVO+31
8.5.3.8数据库异常终止-VNFM（负荷分担关系）31
8.5.3.9数据库异常终止-VNFM（主备关系）32
1前言
核心网NFV试点工作以中国移动现网商用NFV电信云和核心网网元实现虚拟化演进为核心目标，以测试验证为抓手，分阶段全面、深入推动NFV电信云及虚拟化核心网网元相关技术和产品成熟，在过程中不断完善技术方法和规范，突破技术瓶颈，在实践中逐步推进网管体系演进，并为核心网NFV云化商用部署积累建设和运维经验
本分册主要面向业务验证虚拟化系统的可靠性，通过模拟和制造硬件故障、虚拟机故障、网元故障和MANO系统故障等，观察NFV系统在这些故障场景下的可靠性，验证NFV系统的故障监测和恢复能力。
2范围
本文档用于NFV试点三阶段可靠性验证测试，重点测试虚拟化系统对故障的处理能力。
3规范性引用文件
序号
标准编号
标准名称
发布单位
[1]
中国移动核心网NFV试点总体技术要求（第三阶段）
[2]
[3]
[4]
[5]
[6]
[7]
4术语、定义和缩略语
下列术语、定义和缩略语适用于本标准：
缩略语
全称
解释
PNF
PhysicalNetworkFunction
物理网络功能
NFV
NetworkFunctionVirtualization
网络功能虚拟化
NFVI
NetworkFunctionVirtualizationInfrastructure
网络功能虚拟化的基础设施
NFVO
NetworkFunctionsVirtualizationOrchestrator
网络功能虚拟化协调器
NSD
NetworkServiceDescriptor
网络服务描述符
VDU
VirtualizationDeploymentUnit
虚拟化部署单元
VIM
VirtualisedInfrastructureManager
虚拟化基础设施管理器
VNF
VirtualisedNetworkFunction
虚拟化网络功能
VNFC
VirtualisedNetworkFunctionComponent
虚拟化网络功能组件
VNFD
VirtualizedNetworkFunctionDescriptor
虚拟化网络功能描述符
VNFFG
VNFM
VirtualizedNetworkFunctionManager
虚拟化网络功能管理器
NM
NetworkManagement
网络管理
EM
ElementManagement
网元管理
术语
云管理系统
主要指网络功能虚拟化管理与协调流程（MANO），包含流程协调（NFVO）、VNF管理（VNFM）、虚拟化基础建设管理（VIM）的全部功能。
网管系统
主要指NM网络管理和EM网元管理组成的管理系统
基础设施NFVI
网络功能虚拟化的基础架构，是核心网虚拟化的基础。
主要包含虚拟资源（VirtualisedResources）、虚拟层（VirtualisationLayer）、实体资源（HardwareResources）三个功能区块。
网络功能
NetworkFunction，这里的功能指包含了网络架构的功能体，它有着明确的外部接口和功能定义。
从实践来看，目前的网络功能通常指一个网络节点或是物理设备。
网元的生命周期
网元运行的几个重要阶段，如实例化、弹性组织、更新、查询、终止等。
弹性组织
Scaling，按需进行网络功能虚拟化网元的动态资源扩充和收缩的能力。
弹性扩容/缩容
ScalingOut/In，动态增加和减少实体资源的能力（如：
虚拟机）。
弹性伸缩
ScalingUp/Down，动态改变资源分配的能力（如：
增加和减少内存，CPU能力或存储大小）
VNF传送图
VNFForwardingGraph，一个网络功能传送图至少包含了一个VNF实体。
软件定义网络SDN
SofwareDefinenetwork，将控制平面和转发平面分割，数据包将会根据更优化的数据平面被转发，路由（控制平面）功能则运行在某机柜服务器的虚拟机内。
虚拟机规格flavor
指虚拟机的CPU、内存和存储等的配额。
比如可以定义一种中型规格，包括4*CPU，4G内存，100GB硬盘。
亲和性或反亲和性策略
指通过策略，可以定义资源的分布情况，来满足特定的要求。
比如可以将两台虚拟机分布到同一个节点（反亲和性）或不同的节点（亲和性）。
模板
模板是指一种服务，用于完成特定的功能。
比如ns模板，用于完成网络服务的配置。
安装包
安装包指VNF功能包，比如包含的image文件。
自动加载
网元的部署和配置可以通过预配置的VNF模板进行定义，网元部署过程自动化实现。
资源池
资源池主要指可以使用的软件和硬件资源集合。
在虚拟化架构中，资源池主要指可以使用的虚拟化资源，比如虚拟机CPU、内存、存储和网络等资源。
软硬件解耦
在网元部署过程中，去除软硬件的相互依赖，部署软件不需要关注特定的硬件平台，提高了网元部署的通用性和高效性。
5测试环境
虚拟化平台、虚拟化网元已经安装完毕，业务调试完毕，系统正常运行，并达到测试用例要求的负载量
6测试仪表和软件
请厂家自带发包软件进行业务模拟
7测试要求说明
本次测试面向核心网NFV试点（第三阶段）的三大业务NB-IoT、VoLTE和短信中心业务进行测试。
可靠性系列测试规范包括NFV平台可靠性分册、NB-IoT可靠性分册、VoLTE可靠性分册和短信中心可靠性分册。
其中NFV平台可靠性分册注重NFV平台本身的可靠性能力，包括硬件、虚拟层和MANO的可靠性要求，平台要求适用于所有业务。
业务可靠性分册关注在不同故障场景下业务的可靠性能力，重点观察在故障发生场景中，故障能否及时准确地上报、稳态业务是否受到影响以及可靠性相关的功能要点是否支持。
从虚拟化系统的设计来说，针对本测试规范中列出的内容，NFV系统的各个模块都应该能够做到故障隔离和自动恢复。
测试过程中涉及到的故障检测时间、业务切换时间等系统内部机制将作为观察项内容，请予以重点关注和记录，后续将作为评估NFV系统的可靠性能力的重要依据。
8可靠性功能测试
8.1服务器故障处理
执行服务器用例时，请服务器厂家安排测试人员参与现场测试，记录服务器相关检查点问题。
8.1.1服务器硬盘单盘故障
测试编号：
TEST-0
项目：
服务器故障处理
分项目：
服务器硬盘单盘故障
目的：
验证由于服务器硬盘单盘故障带来的业务影响
测试预置条件：
1.核心网虚拟化平台系统已搭建完成
2.两块系统磁盘做好RAID1镜像方式
3.已有虚拟机正在运行，且虚拟机打开了HA功能
4.给测试系统注入业务，使业务稳态运行
5.双盘RAID1处于健康状态
测试步骤：
1.运行过程中，拔掉两块系统盘中的一块；
2.系统收到告警后，插回健康磁盘
测试结果：
1.故障通过带外方式上报到VIM/PIM，VIM/PIM管理界面出现硬盘告警信息
2.从单盘拔出的时间点到VIM/PIM呈现硬件告警的时间点之间不超过5秒
3.VIM管理界面出现RAID逻辑卷降级告警
4.虚拟机及业务无任何影响
5.插回健康磁盘，RAID自动重建，重建完成后VIM管理界面告警信息消除
观察项：
8.1.2服务器网络可靠性-存储平面单网口故障
服务器网络可靠性测试-存储平面单网口故障
验证服务器存储平面单网口故障对业务的影响
2.通过双网口连接至存储网络，网口做好绑定
1.运行过程中，拔掉存储平面两个网口中的一条网线
1.链路故障通过带内方式上报给VIM/PIM，VIM/PIM管理界面显示相应的链路故障
2.从拔出网线的时间点到VIM/PIM呈现链路故障告警的时间点之间不超过5秒
3.VIM不主动迁移虚拟机
4.上层业务无任何影响
5.插回网线，VIM管理界面告警信息消除
8.1.3服务器网络可靠性-存储平面双网口故障（选取与磁阵不相关的业务虚机，如CSCF）
服务器网络可靠性测试-存储平面双网口故障
验证服务器存储平面双网口故障对业务的影响
1.选取与磁阵不相关的CSCF业务处理虚拟机
2.系统运行过程中，拔掉存储平面两个网口的网线；
1.通过带内方式发送告警信息至VIM/PIM，VIM/PIM管理界面显示相应的链路故障
4.业务层无任何影响
针对存储平面双网口故障，请记录厂家系统处理机制
8.1.4服务器网络可靠性-业务平面（OVS）单网口故障
服务器网络可靠性测试-业务平面单网口故障
验证服务器业务平面单网口故障对业务的影响
1.核心网虚拟化平台系统已搭建完成，配置OVS
2.通过双网口连接至业务网络，网口做好绑定
4.给测试系统注入业务，使业务稳态运行。
1.运行过程中，拔掉两个网口中的一条网线
1.网口故障通过带内方式上报给VIM/PIM，VIM/PIM管理界面显示相应的链路故障告警
2.从拔出网线的时间点到VIM/PIM呈现硬件故障告警的时间点之间不超过5秒
3.上层业务无任何影响
4.VIM不主动迁移虚拟机
8.1.5服务器网络可靠性-管理平面单网口故障
服务器网络可靠性测试-管理平面单网口故障
验证服务器管理平面单网口故障对业务的影响
2.通过双网口连接至管理网络
运行过程中，拔掉管理平面两个网口中的一条网线
1.网口故障告警带内方式上报给VIM/PIM，VIM/PIM管理界面可以观察对应的链路故障告警
3.上层业务无任何影响，虚拟机无迁移
4.插回网线，VIM/PIM管理界面告警信息消除；
8.1.6服务器网络可靠性-管理平面双网口故障
服服务器故障处理
服务器网络可靠性测试-管理平面双网口故障
验证服务器管理平面双网口故障对业务的影响
1.运行过程中，拔掉管理平面两个网口的网线
1.通过带内方式发送告警信息至VIM/PIM，VIM/PIM管理界面显示链路故障告警
观察
8.1.7服务器网络可靠性-BMC管理网口
服务器网络可靠性测试-BMC网口
验证服务器管理BMC网口故障对业务的影响
2.连接BMC管理口至管理网络
运行过程中，拔掉BMC网口网线
故障测试预期结果：
1.网口故障告警上报给VIM/PIM，VIM/PIM管理界面可以观察到服务器BMC管理口失连
2.从拔出网线的时间点到VIM/PIM呈现服务器BMC管理口失连告警的时间点之间不超过5分钟
3.业务无任何影响，虚拟机无迁移
8.1.8服务器单电源故障
服务器单电源故障
验证服务器由于单电源故障带来的业务影响
2.配置好热插拔冗余电源
运行过程中，拔掉1块冗余电源
1.VIM/PIM管理界面出现电源告警信息；
2.从拔出电源的时间点到VIM/PIM呈现电源告警的时间点之间不超过5秒
3.对虚拟机及业务无任何影响；
4.插回电源模块，管理界面告警信息消除；
8.1.9服务器散热系统可靠性-单风扇故障
服务器散热系统可靠–单风扇故障
验证服务器由于单风扇故障带来的业务影响
2.配置好热插拔冗余风扇
1.运行过程中，拔掉1块冗余风扇
1.相应故障风扇模块上报告警信息到VIM/PIM，VIM/PIM管理界面出现风扇告警信息；
2.从拔出风扇的时间点到VIM/PIM呈现硬件告警的时间点之间不超过5秒
3.服务器剩余风扇转速明显加快
4.虚拟机及业务无任何影响；
5.插回风扇模块，管理界面告警信息消除；
8.2磁阵故障处理
执行磁阵用例时，请磁阵厂家安排测试人员参与现场测试，记录磁阵相关检查点问题。
8.2.1单控制器故障测试
测试编号
项目
磁阵故障处理
分项目
单控制器故障测试
目的
磁阵单控制器故障对业务的影响。
测试预置条件
2.已有虚拟机正在运行，且虚拟机打开了HA功能
3.给测试系统注入业务，使业务稳态运行。
4.业务主机已正确配置多路径软件。
5.创建LUN并制作虚拟化磁盘，提供给VM读写。
6.每个控制器出两个业务口，分别连接到两台交换机。
测试步骤
1.业务运行时直接拔出单个控制器。
2.过一段时间之后，插回拔出的控制器。
测试结果
1.控制器拔出告警上报VIM/PIM
2.从拔出单控制器的时间点到VIM/PIM呈现硬件告警的时间点之间不超过5秒
3.系统由双控运行模式转换为单控运行模式，所有业务切换至正常工作的控制器
4.磁阵通过正常控制器处理IO读写，稳态业务不中断。
5.控制器插回，故障告警消除，磁阵的两个控制器都可以处理IO读写，稳态业务不中断。
观察项
8.2.2单条存储路径故障
单条存储路径故障
测试目的
单条存储路径故障对业务的影响。
1.给测试系统注入业务，使业务稳态运行。
2.业务主机已正确配置多路径软件。
3.创建LUN并制作虚拟化磁盘，提供给VM读写。
4.虚拟化层将数据刷盘至存储
5.业务运行时拔出一条数据口链路。
6.一段时间后将拔出链路插回。
1.链路拔出后，上报链路故障告警到VIM/PIM
2.从拔出数据链路的时间点到VIM/PIM呈现硬件告警的时间点之间不超过5分钟
3.多路径软件切换业务流量至磁阵正常的数据端口，稳态业务不中断。
4.链路插回后，多路径软件将流量切回并自动负载均衡，稳态业务不中断。
8.2.3RAID5/RAID6/RAID10组单个磁盘故障
TEST-04
RAID5/RAID6/RAID10组单个磁盘故障
RAID5/RAID6/RAID10级别的存储池单个磁盘故障对业务的影响。
注：
请厂家根据实际部署的情况，在RAID5/RAID6/RAID10三种配置中选择一种进行测试。
5.创建具有热备策略的硬盘域与存储池。
6.创建LUN并制作虚拟化磁盘，提供给VM读写。
7.硬盘域热备空间充足
1.拔出RAID5/RAID6/RAID10级别磁阵中的一块磁盘。
2.一段时间后插入原磁盘。
1.拔出一块磁盘后，磁盘故障告警上报VIM/PIM
2.从单磁盘故障发生时间点到VIM/PIM呈现硬件故障告警的时间点之间不超过5秒
3.一段时间之后，存储池降级读写，同时启动数据重构任务，整个过程中业务无任何影响。
8.3交换机故障处理
8.3.1热插拔接口板能力（核心）
交换机故障处理
业务单板故障处理
验证业务单板故障和恢复对业务的影响
2.给测试系统注入业务，使业务稳态运行
3.硬件交换机已经在网络中按堆叠方式部署，上层网络业务正常
1.将正在运行的交换机堆叠系统的某块接口板拔出
2.一段时间后，将接口板插回
1.VIM/PIM管理界面呈现交换机故障告警
2.从拔出交换机接口板的时间点到VIM/PIM呈现故障告警的时间点之间不超过5秒
3.单板拔出后，业务自动切换到其他路径，业务无任何影响
4.单板插回后，业务保持稳态运行。
8.3.2主，备电源切换（接入）
主备电源切换故障处理
验证主备电源切换对业务的影响
4.被测设备接入交换机启用双电源
1.将正在运行交换机堆叠系统的某块电源拔出；
2.一段时间后，插入电源；
1.VIM/PIM管理界
升级会员 