竞品分析测试方案Word格式文档下载.docx
《竞品分析测试方案Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《竞品分析测试方案Word格式文档下载.docx（30页珍藏版）》请在冰点文库上搜索。
自动登陆、静默登陆、网络
状态提示、其它特殊业务
对网络状态的敏感程
度、登陆耗时
呈现信息的内容、内容大小，
图片质量
各种呈现信息更新的
成功率和时延
业务场景下的流量、电量、
内存、CPU、安装包大小
不涉及
用例体验
评估RCS的用户体验以及对比分析竞品之间的差异
Qos测试基于网络有一定网络话务模型下进行竞品测试。
根据《QoS&
话务模型&
性能规格》
（2013-7-22刷新）中的定义，典型网络QoS模型如下：
注：
1、
其中WIFI/宽带接入为必选场景，3G接入/2G接入为可选场景。
2、
“丢包率、时延、抖动”等数值均指一侧的数据，即指UE->
SBC->
IMS（AS）的数据。
需
要注意的是，在测试部分场景时，需要在两个UE侧加扰，比如在测试音频的“WIFI:
较
差”场景时，需要在UE1->
IMS（AS）一侧按照"
丢包：
11.5%，时延：
215ms，抖
动：
100ms"
加扰，同时需要在UE2->
SBC一侧也按照"
加扰。
2019-9-15华为保密信息,XX禁止扩散第
类型
功能点
测试点描述
音频呼
叫
业务发起入口
来电铃声大小控制
来电铃声的大小控制，在各种手机情景模式下的来
电铃声
接听方式
包括锁屏状态下的接听、正常下的接通
界面呈现信息
在振铃态通话态各自能够呈现多少信息？
静音功能
是否支持
外放功能
DTMF
信息查询
在通话态能够并行操作多少业务
转CS呼叫
编解码
支持哪些编解码
切换视频呼叫
补充业务
与呼叫的冲突
包括PS业务的冲突和CS呼叫的冲突
通话记
录
通话记录查询
通话记录删除功能
通话记录详情界面
信息呈现
拨号盘
拨号盘搜索
拨号盘删除功能
其它
其它特色功能
3
测试哪些项？
3.1音频业务
3.1.1功能完备性
针对音频呼叫的功能完备性，进行如下维度的功能完备性测试
视频呼
关键指标
接通率
连续测试10次，计算接通率
接续时长
从日志中获取接续时长
通过外部计时的方式实现（秒
表）
语音时延
以DSLA的测试数据为准
MOS
设置项
组网
RCS的主流组网（内置SVN）
默认配置（安装后默认配置）
使用默认编解码opus
2198冗余
支持（按照默认配置支持二级冗余）
3.1.2Qos
质量
在对比测试过程中，各个影响参数的设置如下：
针对语音呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）：
3.2视频业务
3.2.1功能完备性
针对视频频呼叫的功能完备性，进行如下维度的功能完备性测试
4
摄像头切换
窗口切换
窗口隐藏
切换音频呼叫
FaceTime/微信
音频编解码视频opus；
视频编解码
使用H.264
视频质量
ICT工具评测（工具正在调试，如果
视频主观判断（只针对主观感
在对比测试过程中，各个影响业务的参数设置如下：
针对视频呼叫的Qos分析，需要测试的关键指标如下（包括统计方法）
3.2.2Qos
不能完成测试，则采用视频主观判
断）
受对比）
音频质量
3.3消息类业务
3.3.1功能完备性
类型功能点测试点描述
草稿保存
状态显示
输入状态显示
表情
消息分页加载
单聊
来电提示方式
消息置顶
单聊支持的内容
消息同源
群聊发起入口
群聊支持的内容
群聊
图片共
群聊人数限制
群聊的参数
图片共享入口
享照片墙
6
点击下载
位置
位置共享入口
PTT
共享入口
PTT时长
PTT取消
PTT信息显示
PTT播放模式
其它特性功能
名片共
享
共享的信息项
视频文
件共享
支持的格式
文件大小限制
消息模式
Session模式（RCS默认模式）
MSRP
over
TCP
消息内容
根据Qos测试要求设置
3.3.2Qos
【IM业务】
在IM业务的对比测试过程中，各个影响业务的参数设置如下：
7
成功率
时延
速率
从日志中获取接续时长（时延从何
时开始？
何时结束？
）
文件大小/发送时长（指端到端的？
还是单向？
双向？
共享内容
Comment
[j1]:
需要刷新
【位置业务】
位置业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对位置业务进行独立
的Qos测试。
【图片共享】
【名片共享】
名片共享业务使用IM消息发送，测试结果以IM业务的测试结果为准，不针对名片共享进行
独立的Qos测试。
8
根据Qos测试要求设置（是否可以采
用自身的录制时间为准，录制画面
如何处理）
【视频文件共享】
在视频文件共享的对比测试过程中，各个影响业务的参数设置如下
针对视频文件共享的Qos分析，需要测试的关键指标如下（包括统计方法）
【PTT共享】
在PTT共享的对比测试过程中，各个影响业务的参数设置如下
针对PTT共享的Qos分析，需要测试的关键指标如下（包括统计方法）
关键指标RCS微信
9
登陆注
销
开机自动登陆
后台运行
开销户
失败原因提醒
断网重
连
终端状态的检测
IM下的断网重连
音视频下的断网重连
内容共享的断网重连
呈现类
呈现的内容
3.4登陆注销（包括断网重连）
3.4.1功能完备性
3.4.2Qos
测试RCS和竞争产品在现网WiFi网络上的注册时长和成功率，每种场景测试10次，取其平
均值作为测试结果。
3.5呈现类业务
3.5.1功能完备性
10
呈现内容
测试分析
登录状态
有“离线”和
“在线状态”实
时呈现在联系人
列表
没有登录状态的呈现
不进行Qos测试
签名刷新
好友更新签名后，
自动更新在联系
人列表中
不自动更新，点击好友
签名时更新
业务时延：
微信从手
动刷新开始，rcs已好
友更新时间开始
成功率：
正常统计
头像更新
好友更新头像后，
头像时更新
好友发现
自动发现好友，
周期可以配置
不自动发现，手动发起
好友检测（根据QQ联
系人/手机联系人），检
测到好友后，需要手动
发起增加为好友的操作。
内容刷新周期
Presence信息的显示
好友发现的方式
3.5.2Qos
RCS和微信在Presence业务上的实现存在一定的差异。
测试策略如下：
3.6性能指标
性能测试指标是除业务完备度和用户体验外，最直接的竞争力体现。
本测试方案针对安装
11
包大小CPU、内存、流量、电量、流畅度进行对比测试。
3.6.1安装包大小
比较软件的安装包大小。
3.6.2CPU
对于APP来讲，CPU测试和内存测试根据如下几点考虑测试场景。
●在相对稳定的状态进行CPU的测试和对比；
说明：
对APP的稳定状态进行测试，因为用户一般不会感受到CPU的飙高，CPU的对外
呈现是终端的发热量、app的使用流畅度。
对于操作过程瞬时状态用户较难察觉，因此
竞品测试过程中基于如下两个原则设计场景：
●针对场景进行的通用性。
由于软件的业务和架构不同，无法做到很细节场景的对比，因此测试过程中关
注业务场景，对应的配置以默认配置为准。
某些业务独有的特性在业务实现完备性章节进
行测试，不在性能指标中作为专项测试。
基于以上原则，抽象出以下几种测试场景：
场景构造：
空联系人，同一款终端，登陆10分钟后在后台运行。
测试方法：
观察CPU的占用持续5分钟。
前台运行
在被测系统运行在前台，按照正常使用速度且在“1级”页面切换，观察
CPU的占用持续5分钟。
3、
IM聊天过程中
每个终端1个联系人。
两个终端之间互发进行操作。
按照如下顺序循环发送，若不支持则跳过。
A发送消息给B；
B发送消息给
A；
A发送表情给B；
B发送表情给A；
A发送照片给B；
B发送照片给A；
A发送名片给
B；
B发送名片给A；
循环操作，持续5分钟观察cpu变化。
业务结束后须持观察CPU5分
12
钟。
4、
音视频呼叫过程中
从呼叫开始前30s开始到呼叫接触后持续观察5分钟。
呼叫持续5分钟。
3.6.3内存
同CPU测试场景，抽象出以下几种测试场景：
在被测系统运行在前台，按照正常使用速度且在“1级”页面切换，观察内
存的占用持续5分钟。
3.6.4流量
流量测试采用第三方软件进行统计。
采用《瓦力流量仪》作为测试工具
预置条件：
区分android和ios平台，Android使用防火墙屏蔽其他APP访问网络，ios在后台删除
掉非被测软件和统计工具外的其它APP应用。
软件的设置项采用APP应用的默认设置。
13
被测对象
操作步骤
后台完成动作
使用老号码；
进行首次登陆；
启动CAB之后，进行一轮CAB好友发
现
登陆流程
自动匹配联系人中好友
下载好友信息
进行一轮号码本匹配
测试场景：
空跑一轮
不安装被测软件，只安装统计工具，目的是将测试结果作为参考基线，减少测试过程中
误差
登陆
被测软件均统计在安装软件后首次登陆消耗的流量。
由于当前RCS做成自动发现好友。
在和不同软件时间进行对比时，需要完成的流程如下：
得到测试数据后，需要结合好友数量才能比对产品之间的测试数据。
后台运行1个小时
登陆成功后在后台运行1个小时。
前台运行1个小时
登陆成功后在前台运行1个小时。
被测软件停留在登陆后的默认页面，关闭系统锁屏功
能。
5、
IM发送文本50条（测试3组数据）
终端A和终端B登陆后，互发IM文本消息，互发30分钟，文本内容固定为“1”->
“50”
依次增加1.
6、
音频10分钟
以默认编解码进行测试
7、
视频10分钟
14
任务编号
任务名称
任务描述
任务01
音频呼叫
从拨号盘发起音频呼叫
任务02
视频呼叫
从联系人详情中发起视频呼叫
任务03
删除呼叫记录
删除某个联系人的所有通话记录
测试任务划分如下，所有测试任务的其实页面均从登陆后的默认页面开始。
15
3.6.5电量
电量测试继承使用版本测试的方法，使用如下几种测试场景进行和竞品的分析。
后台运行12个小时；
视频呼叫1个小时；
音频呼叫1个小时；
iOS平台直接读取iPhone自身电量显示。
Android平台采用第3方电量测试工具
（金山电池医生）显示电量。
测试时通过杀死后台程序的方式仅保留被测软件和测量
工具。
3.6.6发热量
本方案暂时不关注
3.6.7流畅度
流畅度的测试在本版本首次执行，作为一个独立的测试项，需要输入单独的文档，本
文档不进行描述，具体测试方案请参考《RCS
Client
V100R005C00流畅度测试方案》
3.7用户体验评估
3.7.1测试思路
将RCS的业务抽象成各种任务，这些任务的集合能够覆盖RCS的主要功能场景（超过
90%）。
测试人员在执行这些任务的过程中评估用户的体验效果。
3.7.2任务划分
任务04
发起IM
从联系人详情中发起1-1聊天业务
任务05
接收IM
被测软件在后台运行，收到IM消息后，查看IM消息，且回
复
任务06
发送图片
从联系人详情中发起图片共享业务（即时拍）
任务07
发送视频
从联系人详情中发起视频文件共享业务（被测系统进行录制）
任务08
发送名片
从联系人详情中发起名片共享业务（从联系人中选择）
任务09
发送PTT
从联系人详情中发起PTT文件共享业务
任务10
发送位置
从联系人详情中发起位置共享业务
任务11
接收图片
在登陆后的默认页面，收到好友发送过来的图片，浏览后保
存到本地
任务12
接收视频
在登陆后的默认页面，收到好友发送过来的视频文件，浏览
后保存到本地
任务13
接收名片
在登陆后的默认页面，收到好友发送过来的名片，浏览后保
存到本地联系人
任务14
接收位置
在登陆后的默认页面，收到好友发送过来的位置并浏览
任务15
接收PTT
在登陆后的默认页面，收到好友发送过来的PTT并收听
任务16
删除聊天记录
删除某个联系人的聊天记录
任务17
发起群聊
发起三个人的群聊，并在群里面发起内容
任务18
搜索联系人
从联系人界面出发，搜索联系人并查看详细信息
任务19
增加联系人
增加号码为新增联系人
任务20
删除联系人
从联系人界面出发，搜索联系人并删除联系人
任务21
修改头像和签名
任务23
NAB
发起联系人备份和恢复操作
3.7.3评估指标
分类基本指标描述可能关键错误指标
16
流程性/
面性指标
可识别性
用户可以看见和发现相关的信息（包括
文案、图标、图形等），并将该信息和
其它信息区分出来
视觉混淆、无法发现信
息、依赖记忆
可理解性
用户理解该信息（包括文案、图标、图
形等）的内容，用户理解的信息和真实
世界保持一致，容易学习
概念混淆、概念错误
可操作性
用户可以进行正确操作
错误操作、无效操作、
操作时间过长
灵活/容错性
用户可以自由选择合适的操作方式，允
许用户出错
无可选择性、无法退出
反馈
用户知道自己完成了相关的操作
无反馈、反馈无法理解
和识别
视觉与体验
评估产品的外观、色彩、风格、质感等
相关的视觉体验
---
帮助信息
有帮助信息
升级会员 