大数据性能测试方案V10DOC.docx

大数据性能测试方案V10DOC.docx

《大数据性能测试方案V10DOC.docx》由会员分享，可在线阅读，更多相关《大数据性能测试方案V10DOC.docx（19页珍藏版）》请在冰点文库上搜索。

大数据性能测试方案V10DOC

编号：

密级：

XXX大数据平台

性能测试方案

[V1-1.0]

拟制人：

审核人：

批准人：

[2016年01月08日]

文件变更记录

*A-增加M-修订D-删除

版本号

日期

变更类型

（A*M*D）

修改人

摘要

审核人

备注

V1.0

2016-01-08

A

新建性能测试方案

1引言

1.1编写目的

本测试方案将对XXX大数据平台的测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。

1.2测试目标

本次性能测试的目标是检测《XXX大数据平台》在服务器上运行时，了解该服务器的各项性能情况。

1.3读者对象

本方案的预期读者是：

项目负责人、测试人员、运维人员和其他相关人员。

1.4术语定义

术语

定义

性能测试

通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试

场景

用于根据性能要求定义在每一个测试会话进行期间发生的事件

事务

表示要度量的最终指定的某个特定业务

2环境搭建

2.1测试硬件环境

服务器名

数量

期望到位阶段

备注

服务器

1

开发提测前

2.2软件环境

资源名称

配置

3测试范围

3.1测试功能点

编号

测试点

对应算法

备注

1

Hadoop读取

2

Hadoop写入

3

Hadoop导入

4

Hadoop导出

5

Spark读取

6

Spark写入

7

Spark导入

8

Spark导出

3.2测试类型

类型

定义

备注

基准测试

单事物单用户测试，目的是对选择的单用户在无压力情况下（无额外进程运行并占用系统资源）情况下，获取系统处理单请求的情况

负载测试

通过逐步增加系统负载，测试系统性能的变化

稳定性测试

通过给系统加载一定业务压力，运行7*24小时，以此检测系统是否稳定运行。

3.3性能需求

名称

指标

备注

CPU

使用率不高于80%

内存

使用率不高于80%

I/O

使用率不高于80%

响应时间

Network

使用率不高于80%

3.4准备工作

1.测试功能点全部通过功能测试，确保功能上没有问题；

2.测试环境服务器已搭建，被测项目已部署；

3.准备测试客户机；

4.准备好测试数据；

5.创建测试场景，并配置好每个场景的设置；

6.测试过程中保存好测试数据和分析结果，并规范对执行结果进行命名

3.5测试流程

4.测试策略

4.1基准测试

4.1.1Hadoop/Spark读取算法的基准测试

场景1：

数据容量100G时，进行读取算法的基准测试

用例名称

数据量100G，读取功能的基准测试

算法

读取

验证功能

Hadoop/Spark的读取测试

测试目的

对比Hadoop/Spark的读取算法，进行数据容量100G读取操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量100G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的读取代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景2：

数据容量500G时，进行读取算法的基准测试

用例名称

数据量500G，读取功能的基准测试

算法

读取

验证功能

Hadoop/Spark的读取测试

测试目的

对比Hadoop/Spark的读取算法，进行数据容量500G读取操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量500G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的读取代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景3：

数据容量1T时，进行读取算法的基准测试

用例名称

数据量1T，读取功能的基准测试

算法

读取

验证功能

Hadoop/Spark的读取测试

测试目的

对比Hadoop/Spark的读取算法，进行数据容量1T读取操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量1T

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的读取代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

4.1.2Hadoop/Spark写入算法的基准测试

场景1：

数据容量100G时，进行写入算法的基准测试

用例名称

数据量100G，写入功能的基准测试

算法

写入

验证功能

Hadoop/Spark的写入测试

测试目的

对比Hadoop/Spark的写入算法，进行数据容量100G写入操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量100G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的写入代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景2：

数据容量500G时，进行写入算法的基准测试

用例名称

数据量500G，写入功能的基准测试

算法

写入

验证功能

Hadoop/Spark的写入测试

测试目的

对比Hadoop/Spark的写入算法，进行数据容量500G写入操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量500G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的写入代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景3：

数据容量1T时，进行写入算法的基准测试

用例名称

数据量1T，写入功能的基准测试

算法

写入

验证功能

Hadoop/Spark的写入测试

测试目的

对比Hadoop/Spark的写入算法，进行数据容量1T写入操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量1T

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的写入代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

4.1.3Hadoop/Spark导入算法的基准测试

场景1：

数据容量100G时，进行导入算法，查看服务器的相关性能指标

用例名称

数据量100G，导入功能的基准测试

算法

导入

验证功能

Hadoop/Spark的导入测试

测试目的

对比Hadoop/Spark的导入算法，进行数据容量100G导入操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量100G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的导入代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景2：

数据容量500G时，进行导入算法，查看服务器的相关性能指标

用例名称

数据量500G，导入功能的基准测试

算法

导入

验证功能

Hadoop/Spark的导入测试

测试目的

对比Hadoop/Spark的导入算法，进行数据容量500G导入操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量500G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的导入代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景3：

数据容量1T时，进行导入算法，查看服务器的相关性能指标

用例名称

数据量1T，导入功能的基准测试

算法

导入

验证功能

Hadoop/Spark的导入测试

测试目的

对比Hadoop/Spark的导入算法，进行数据容量1T导入操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量1T

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的导入代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

4.1.4Hadoop/Spark导出算法的基准测试

场景1：

数据容量100G时，进行导出算法，查看服务器的相关性能指标

用例名称

数据量100G，导出功能的基准测试

算法

导出

验证功能

Hadoop/Spark的导出测试

测试目的

对比Hadoop/Spark的导出算法，进行数据容量100G导出操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量100G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的导出代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景2：

数据容量500G时，进行导出算法，查看服务器的相关性能指标

用例名称

数据量500G，导出功能的基准测试

算法

导出算法

验证功能

Hadoop/Spark的导出测试

测试目的

对比Hadoop/Spark的导出算法，进行数据容量500G导出操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量500G

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的导出代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景3：

数据容量1T时，进行导出算法，查看服务器的相关性能指标

用例名称

数据量1T，导出功能的基准测试

算法

导出

验证功能

Hadoop/Spark的导出测试

测试目的

对比Hadoop/Spark的导出算法，进行数据容量1T导出操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量1T

2.对redpower服务器进行资源监控

3.客户端执行Hadoop/Spark的导出代码

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

4.2负载测试

4.2.1Hadoop/Spark并行读取/写入算法的负载测试

场景1：

数据容量100G时，并行读取/写入算法的混合测试场景

用例名称

数据量100G，并行读取/写入的负载测试

算法

读取/写入

验证功能

Hadoop/Spark并行读取/写入测试

测试目的

对比Hadoop/Spark的并行读取/写入，进行数据容量100G操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量100G

2.对redpower服务器进行资源监控

3.客户端并行执行Hadoop/Spark的读取/写入算法

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景2：

数据容量500G时，并行读取/写入算法的混合测试场景

用例名称

数据量500G，并行读取/写入的负载测试

算法

读取/写入

验证功能

Hadoop/Spark并行读取/写入测试

测试目的

对比Hadoop/Spark的并行读取/写入，进行数据容量500G操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量500G

2.对redpower服务器进行资源监控

3.客户端并行执行Hadoop/Spark的读取/写入算法

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景3：

数据容量1T时，并行读取/写入算法的混合测试场景

用例名称

数据量1T，并行读取/写入的负载测试

算法

读取/写入

验证功能

Hadoop/Spark并行读取/写入测试

测试目的

对比Hadoop/Spark的并行读取/写入，进行数据容量1T操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量1T

2.对redpower服务器进行资源监控

3.客户端并行执行Hadoop/Spark的读取/写入算法

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

4.2.2Hadoop/Spark并行导入/导出算法的负载测试

场景1：

数据容量100G时，并行导入/导出算法的混合场景测试

用例名称

数据量100G，并行导入/导出的负载测试

算法

导入/导出

验证功能

Hadoop/Spark并行导入/导出测试

测试目的

对比Hadoop/Spark的并行导入/导出，进行数据容量100G操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量100G

2.对redpower服务器进行资源监控

3.客户端并行执行Hadoop/Spark的导入/导出算法

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景2：

数据容量500G时，并行读取/写入算法的混合场景测试

用例名称

数据量500G，并行导入/导出的负载测试

算法

导入/导出

验证功能

Hadoop/Spark并行导入/导出测试

测试目的

对比Hadoop/Spark的并行导入/导出，进行数据容量500G操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量500G

2.对redpower服务器进行资源监控

3.客户端并行执行Hadoop/Spark的导入/导出算法

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景3：

数据容量1T时，并行读取/写入算法的混合场景测试

用例名称

数据量1T，并行导入/导出的负载测试

算法

导入/导出

验证功能

Hadoop/Spark并行导入/导出测试

测试目的

对比Hadoop/Spark的并行导入/导出，进行数据容量1T操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量1T

2.对redpower服务器进行资源监控

3.客户端并行执行Hadoop/Spark的导入/导出算法

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

4.3稳定性测试

4.3.1Hadoop/Spark并行读取/写入/导入/导出算法，7*24小时稳定性测试

场景1：

数据容量100G时，并行读取/写入/导入/导出稳定性测试

用例名称

数据量100G，并行读取/写入/导入/导出稳定性测试

算法

读取/写入/导入/导出

验证功能

Hadoop/Spark并行读取/写入/导入/导出稳定性测试

测试目的

对比Hadoop/Spark的并行读取/写入/导入/导出，进行数据容量100G操作时，redpower服务器运行情况

前置条件

操作步骤

1.准备数据容量100G

2.对redpower服务器进行资源监控

3.客户端并行执行Hadoop/Spark的读取/写入/导入/导出算法，运行时长7*24小时

运行结果

类别

CPU使用率

内存使用率

I/O

NETWORK

响应时间

备注

Hadoop

Spark

Spark

场景2：

数据容量500G时，并行读取/写入/导入/导出稳定性测试