大数据性能测试方案V10DOC.docx

1、大数据性能测试方案V10DOC 编号：密级：XXX大数据平台性能测试方案V1-1.0拟 制 人： 审 核 人： 批 准 人： 2016年01月08日文件变更记录*A - 增加 M - 修订 D - 删除版本号日期变更类型（A*M*D）修改人摘要审核人备注V1.02016-01-08A新建性能测试方案1 引言1.1 编写目的本测试方案将对XXX大数据平台的测试方案、测试范围，测试的软件硬件环境、测试进度、测试人员的分工和职责以及测试流程进行详细的定义和整体的描述。1.2 测试目标本次性能测试的目标是检测XXX大数据平台在服务器上运行时，了解该服务器的各项性能情况。1.3 读者对象本方案的预期读者

2、是：项目负责人、测试人员、运维人员和其他相关人员。1.4 术语定义术语定义性能测试通过自动化的测试工具模拟多种正常、峰值以及异常负载条件来对系统的各项性能指标进行测试场景用于根据性能要求定义在每一个测试会话进行期间发生的事件事务表示要度量的最终指定的某个特定业务2 环境搭建2.1 测试硬件环境服务器名数量期望到位阶段备注服务器1开发提测前2.2 软件环境 资源名称配置3 测试范围3.1 测试功能点编号测试点对应算法备注1Hadoop读取2Hadoop写入3Hadoop导入4Hadoop导出5Spark读取6Spark写入7Spark导入8Spark导出3.2 测试类型类型定义备注基准测试单事物

3、单用户测试，目的是对选择的单用户在无压力情况下（无额外进程运行并占用系统资源）情况下，获取系统处理单请求的情况负载测试通过逐步增加系统负载，测试系统性能的变化稳定性测试通过给系统加载一定业务压力，运行7*24小时，以此检测系统是否稳定运行。3.3性能需求名称指标备注CPU使用率不高于80%内存使用率不高于80%I/O使用率不高于80%响应时间Network使用率不高于80%3.4准备工作1. 测试功能点全部通过功能测试，确保功能上没有问题；2. 测试环境服务器已搭建，被测项目已部署；3. 准备测试客户机；4. 准备好测试数据；5. 创建测试场景，并配置好每个场景的设置；6. 测试过程中保存好测

4、试数据和分析结果，并规范对执行结果进行命名3.5 测试流程 4.测试策略4.1 基准测试4.1.1 Hadoop/ Spark读取算法的基准测试场景1：数据容量100G时，进行读取算法的基准测试用例名称数据量100G，读取功能的基准测试算法读取验证功能Hadoop/ Spark的读取测试测试目的对比Hadoop/ Spark的读取算法，进行数据容量100G读取操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注

5、HadoopSparkSpark场景2：数据容量500G时，进行读取算法的基准测试用例名称数据量500G，读取功能的基准测试算法读取验证功能Hadoop/ Spark的读取测试测试目的对比Hadoop/ Spark的读取算法，进行数据容量500G读取操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行读取算法的基准测试用例名称数据量1T，读取功能的基准

6、测试算法读取验证功能Hadoop/ Spark的读取测试测试目的对比Hadoop/ Spark的读取算法，进行数据容量1T读取操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的读取代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark4.1.2 Hadoop/ Spark写入算法的基准测试场景1：数据容量100G时，进行写入算法的基准测试用例名称数据量100G，写入功能的基准测试算法写入验证功能Hadoop/ Spark的写入测试测试目的

7、对比Hadoop/ Spark的写入算法，进行数据容量100G写入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，进行写入算法的基准测试用例名称数据量500G，写入功能的基准测试算法写入验证功能Hadoop/ Spark的写入测试测试目的对比Hadoop/ Spark的写入算法，进行数据容量500G写入操作时，redpower服务器运行情况前置条件

8、操作步骤1.准备数据容量500G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的写入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行写入算法的基准测试用例名称数据量1T，写入功能的基准测试算法写入验证功能Hadoop/ Spark的写入测试测试目的对比Hadoop/ Spark的写入算法，进行数据容量1T写入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的写入代码运

9、行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark4.1.3 Hadoop/ Spark导入算法的基准测试场景1：数据容量100G时，进行导入算法，查看服务器的相关性能指标用例名称数据量100G，导入功能的基准测试算法导入验证功能Hadoop/ Spark的导入测试测试目的对比Hadoop/ Spark的导入算法，进行数据容量100G导入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的导入代码运行结果类别CPU使用率内存使用率I/ON

10、ETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，进行导入算法，查看服务器的相关性能指标用例名称数据量500G，导入功能的基准测试算法导入验证功能Hadoop/ Spark的导入测试测试目的对比Hadoop/ Spark的导入算法，进行数据容量500G导入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行导入算法，查

11、看服务器的相关性能指标用例名称数据量1T，导入功能的基准测试算法导入验证功能Hadoop/ Spark的导入测试测试目的对比Hadoop/ Spark的导入算法，进行数据容量1T导入操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的导入代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark4.1.4 Hadoop/ Spark导出算法的基准测试场景1：数据容量100G时，进行导出算法，查看服务器的相关性能指标用例名称数据量100G，导出功

12、能的基准测试算法导出验证功能Hadoop/ Spark的导出测试测试目的对比Hadoop/ Spark的导出算法，进行数据容量100G导出操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，进行导出算法，查看服务器的相关性能指标用例名称数据量500G，导出功能的基准测试算法导出算法验证功能Hadoop/ Spark的导出测试测试目的对比Hadoop/

13、Spark的导出算法，进行数据容量500G导出操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，进行导出算法，查看服务器的相关性能指标用例名称数据量1T，导出功能的基准测试算法导出验证功能Hadoop/ Spark的导出测试测试目的对比Hadoop/ Spark的导出算法，进行数据容量1T导出操作时，redpower服务器运行情况前置条件操作步骤1.准备

14、数据容量1T2. 对redpower服务器进行资源监控3. 客户端执行Hadoop/ Spark的导出代码运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark4.2 负载测试4.2.1 Hadoop/ Spark并行读取/写入算法的负载测试场景1：数据容量100G时，并行读取/写入算法的混合测试场景用例名称数据量100G，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/ Spark并行读取/写入测试测试目的对比Hadoop/ Spark的并行读取/写入，进行数据容量100G操作时，redpower服务器运行情况前置条件操作步骤1.准备数

15、据容量100G2. 对redpower服务器进行资源监控3. 客户端并行执行Hadoop/ Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，并行读取/写入算法的混合测试场景用例名称数据量500G，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/ Spark并行读取/写入测试测试目的对比Hadoop/ Spark的并行读取/写入，进行数据容量500G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2. 对redpower服务器进行资源监控3. 客户端并

16、行执行Hadoop/ Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容量1T时，并行读取/写入算法的混合测试场景用例名称数据量1T，并行读取/写入的负载测试算法读取/写入验证功能Hadoop/ Spark并行读取/写入测试测试目的对比Hadoop/ Spark的并行读取/写入，进行数据容量1T操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2. 对redpower服务器进行资源监控3. 客户端并行执行Hadoop/ Spark的读取/写入算法运行结果类别CPU使用率内存使用率I/

17、ONETWORK响应时间备注HadoopSparkSpark4.2.2 Hadoop/ Spark并行导入/导出算法的负载测试场景1：数据容量100G时，并行导入/导出算法的混合场景测试用例名称数据量100G，并行导入/导出的负载测试算法导入/导出验证功能Hadoop/ Spark并行导入/导出测试测试目的对比Hadoop/ Spark的并行导入/导出，进行数据容量100G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2. 对redpower服务器进行资源监控3. 客户端并行执行Hadoop/ Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ON

18、ETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，并行读取/写入算法的混合场景测试用例名称数据量500G，并行导入/导出的负载测试算法导入/导出验证功能Hadoop/ Spark并行导入/导出测试测试目的对比Hadoop/ Spark的并行导入/导出，进行数据容量500G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量500G2. 对redpower服务器进行资源监控3. 客户端并行执行Hadoop/ Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景3：数据容

19、量1T时，并行读取/写入算法的混合场景测试用例名称数据量1T，并行导入/导出的负载测试算法导入/导出验证功能Hadoop/ Spark并行导入/导出测试测试目的对比Hadoop/ Spark的并行导入/导出，进行数据容量1T操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量1T2. 对redpower服务器进行资源监控3. 客户端并行执行Hadoop/ Spark的导入/导出算法运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark4.3 稳定性测试4.3.1 Hadoop/ Spark并行读取/写入/导入/导出算法，7*24小时

20、稳定性测试场景1：数据容量100G时，并行读取/写入/导入/导出稳定性测试用例名称数据量100G，并行读取/写入/导入/导出稳定性测试算法读取/写入/导入/导出验证功能Hadoop/ Spark并行读取/写入/导入/导出稳定性测试测试目的对比Hadoop/ Spark的并行读取/写入/导入/导出，进行数据容量100G操作时，redpower服务器运行情况前置条件操作步骤1.准备数据容量100G2. 对redpower服务器进行资源监控3. 客户端并行执行Hadoop/ Spark的读取/写入/导入/导出算法，运行时长7*24小时运行结果类别CPU使用率内存使用率I/ONETWORK响应时间备注HadoopSparkSpark场景2：数据容量500G时，并行读取/写入/导入/导出稳定性测试