基于移动自有APP数据的网络信息采集与分析系统建设需求书.docx
《基于移动自有APP数据的网络信息采集与分析系统建设需求书.docx》由会员分享，可在线阅读，更多相关《基于移动自有APP数据的网络信息采集与分析系统建设需求书.docx（18页珍藏版）》请在冰点文库上搜索。
基于移动自有APP数据的网络信息采集与分析系统建设需求书
基于移动自有APP数据的网络信息采集与分析系统
开发需求申请
1需求背景
2019年11月，集团公司网络部于下发了“关于在手机掌上营业厅中采集网络及定位信息的工作要求”（集团工单JT-001-161107-00032）。
要求各省公司在本省手机掌上营业厅APP中封装软件模块，以收集用户所处位置的网络覆盖等信息。
集团2019年网络工作会也要求各省积极应用室内分层定位算法，应用基于自有WLAN、wifi指纹库、掌上营业厅、家庭宽带等多种手段的室内立体精准定位技术，6月底前在城区高流量、高价值区域应用，后续全网推广。
在2019年初集团网络工作交流会上，集团公司向全国推荐了安徽公司的“基于MR和掌厅大数据精准定位平台”先进经验。
我省组织对标学习，目前我省已应用了MR精准定位技术，但尚未开发应用基于掌厅等自有APP的精准定位技术。
我省现有的基于信令XDR的MR定位技术，受限于互联网安全协议升级、数据挖掘成本过高、室内WIFI信息无法获取等因素，在使用上存在一定的局限性。
而基于掌厅等自有APP的精准定位技术成熟准确，可以有效补充完善我省定位技术体系，有力支撑网络优化生产工作。
根据集团公司的要求，对标先进省份经验，为进一步丰富完善我省定位技术，申请建立基于自有APP数据的网络信息采集与分析系统。
2需求类型
请选择：
A
A新增B变更
说明：
A新增：
此需求是某系统中不存在的功能；
B变更：
此需求是针对某系统中已经存在的功能的改进或者调整；
3系统名称
基于移动自有APP数据的网络信息采集与分析系统
说明：
填写是要针对哪个系统进行需求变更，填写准确系统名称，例如：
外卖系统。
4需求描述：
1）使用者：
省、市公司网优人员
2）功能名称：
基于移动自有APP数据的网络信息采集与分析系统
3）实现目标：
✓开发专用SDK，嵌入移动自有APP，如：
手机掌上营业厅、和生活爱辽宁，采集网络信息及位置信息
✓搭建采集处理服务器，“采集-处理-存储”采集到的信息
✓开发优化应用系统，实现准确定位与智能分析功能。
具备覆盖分析、室内虚拟测试、重要场景分析、室分质量评估、室内立体定位、楼宇建筑物分析等功能。
✓数据共享，与已有系统融合互补。
将采集数据接入数据共享平台，提供给其他系统共享。
将分析结果与集中优化平台、虚拟路测平台、室分精准规划平台的分析结果进行融合，对比呈现。
4）界面需要呈现的内容：
具备覆盖、质量等信息的GIS渲染、图形化呈现、报表呈现功能，具备覆盖分析、室内虚拟测试、重要场景分析、室分质量评估、室内立体定位、楼宇建筑物分析等功能。
5）需要开启该功能权限的用户范围：
省、市公司网优人员
详细需求说明如下：
基于移动自有APP数据的网络信息采集与分析系统
需求说明书
网络优化中心
2019.2
1.项目背景
集团公司网络部于2016年11月下发了“关于在手机掌上营业厅中采集网络及定位信息的工作要求”（集团工单JT-001-161107-00032）。
为持续巩固4G领先优势，准确定位无线网络问题，在安徽等省成功试点的基础上，要求各省公司在本省手机掌上营业厅APP中封装软件模块，以收集用户所处位置的网络覆盖等信息。
具体要求如下：
一、在现有正式版手机营业厅中嵌入SDK，定期采集用户准确位置及网络信息，如上报时间、IMSI、手机型号、用户经纬度、用户海拔高度、用户上网类型、终端类型、无线信号强度RSRP、无线信号质量DL_SINR、服务小区CELLID、邻区CELLID、使用WIFI的MAC地址，使用WIFI的信号强度等。
二、将手机营业厅获取的用户及网络信息与建筑POI信息关联，实现建筑物室内覆盖情况的精准定位，并通过关联分析算法扩大样本量，作为OTT定位算法的有效补充。
我省目前在采集网络信息的方法方面存在一些短板和局限性，如：
互联网APP纷纷使用HTTPS协议，加密后无法获取位置信息；从XDR提取经纬度信息，计算工作量大，匹配度有限，获取效率有限；交互类APP上报数据准确性不高；无法获取室内环境WIFI信息等。
通过在手机掌上营业厅中采集网络及定位信息，并进行各种专题分析，可以有效弥补我省目前采集网络信息方法的短板和不足，实现低成本、快速有效的采集网络信息，直观发现并分析无线网络问题，支撑日常网络优化生产工作。
2.项目目标
通过开发采集网络信息的专用SDK，嵌入移动自有APP，借助市场口推广，利用自有APP自动采集网络信息及位置信息，基于可观的采样数据和丰富的上层应用，可实现对多场景从多维度进行关联分析，建成基于自有APP数据的网络质量智能分析系统。
（1）开发采集网络信息的专用SDK，并嵌入移动自有APP（如：
手机营业厅APP、和生活爱辽宁APP），随着自有APP的使用启动专业SDK，获取用户所在位置的无线环境信息和WIF环境信息。
（2）搭建采集服务器及采集平台，调测自有APP与采集平台的接口，保证数据传送的及时性、完整性、准确性。
将掌上营业厅采集的信息自动回传到采集服务器，通过采集平台对数据进行清理、存储、入库，供上层应用程序使用。
同时处理后的原始数据自动传送至我省数据共享平台，供其他系统调用。
（3）搭建应用服务器及网络分析平台，通过采集层获得数据对网络覆盖及质量按照地市、区县、小区、栅格逐级分析；通过关联三维地图实现对室内覆盖分析；通过关联家宽、WIFI，实现对建筑物立体分析；具备覆盖、质量、建筑物、室分、场景等专题分析功能；建立基于网络信息的定位指纹库，供其他系统应用。
（4）将基于移动自有APP的网络信息采集与分析系统，与已有的集中优化平台、虚拟路测平台、室分精准规划平台进行融合，实现基础数据共享，上层分析功能应用共享，分析结果共享，形成相互补充、相互支撑的大数据综合分析能力。
3.采集数据处理
信号采集SDK采集的数据主要有三类：
基本数据、无线环境数据、WIFI环境数据，需采集的数据内容如下。
ID
采集时间
用户ID
手机号码
IMSI
IMEI
手机型号
纬度
经度
CID
RSRP
RSRQ
DL_SINR
上网方式
WifiMac
用户海拔高度
连接的Wifi信号强度
其中采集时间、用户ID、经纬度、手机号码、IMSI、IMEI、手机型号等7类数据为为掌厅APP透传数据。
数据类型与处理方式如下：
ID
数据来源：
信息采集SDK生成
数据获取方式：
信息采集SDK生成
数据处理方式：
不做处理
采集时间
数据来源：
透传数据
数据获取方式：
由掌厅APP从用户终端采集获取
数据处理方式：
具备判断日期是否准确的算法，对于明显错误数据采用直接丢弃方式处理。
用户ID
数据来源：
透传数据
数据获取方式：
掌厅APP自动生成
数据处理方式：
不做处理
手机号码
数据来源：
透传数据
数据获取方式：
掌厅APP通过获取用户登录信息获取
数据处理方式：
对于null值，标记为未知号码
IMSI
数据来源：
透传数据
数据获取方式：
掌厅APP获取
数据处理方式：
不做处理
IMEI
数据来源：
透传数据
数据获取方式：
掌厅APP获取
数据处理方式：
不做处理
手机型号
数据来源：
透传数据
数据获取方式：
掌厅APP获取
数据处理方式：
不做处理
经纬度
数据来源：
透传数据
数据获取方式：
掌厅通过XX等定位SDK获取
数据处理方式：
与城市范围坐标字典库匹配，获取该经纬度归属城市信息
CID
数据来源：
信息采集SDK获取
数据获取方式：
调用安卓系统底层接口获取
数据处理方式：
CIDmod65535，整数为eNODEBID，余数为CELLID；关联相应日期工参数据进行标签处理，标签分为：
宏站、室分、未知
RSRP
数据来源：
信息采集SDK获取
数据获取方式：
调用安卓系统底层接口获取
数据处理方式：
在3GPP协议中规定，LTERSRP取值区间为[-140dBm，-44dBm]，对于非LTE网络信号参考LTE电平区间，对于小于-140dBm的按照-140取值，对于大于-44dBm的，标记为无效RSRP。
对于非正常数据需要针对相应终端类型进行单独处理。
RSRQ
数据来源：
信息采集SDK获取
数据获取方式：
调用安卓系统底层接口获取
数据处理方式：
不做处理
DL_SINR
数据来源：
信息采集SDK获取
数据获取方式：
调用安卓系统底层接口获取
数据处理方式：
LTESINR取值范围为[-20db，40db]，对于非LTE网络信号区间参考LTE网络，对于<-20db或>40db的标记为无效SINR。
对于非正常数据需要针对相应终端类型进行单独处理。
上网方式
数据来源：
信息采集SDK获取
数据获取方式：
调用安卓系统底层接口获取
数据处理方式：
上网方式归类为4种，WIFI、LTE网络、非LTE网络、未知；其中非LTE上网方式包含EDGE\GPRS\HSDPA\HSPA\HSAP+，非归属于WIFI、LTE网络、非LTE网络的其他字段的归纳与未知类中。
对于非正常数据在后续需要针进行对相应终端类型单独处理。
WIFI_MAC
数据来源：
信息采集SDK获取
数据获取方式：
调用安卓系统底层接口获取
数据处理方式：
不做处理
用户海拔高度
数据来源：
信息采集SDK获取
数据获取方式：
调用GPS获取
数据处理方式：
验证准确性及有效性，并根据坐标系修正
连接WIFI信号强度
数据来源：
信息采集SDK获取
数据获取方式：
调用安卓系统底层接口获取
数据处理方式：
不做处理
经纬度获取方式
数据来源：
透传数据
数据获取方式：
掌厅APP通过内嵌定位SDK获取（XX或者高德定位SDK）
数据处理方式：
不做处理
4.数据统计方法
1
2
室内外采样点统计
统计方法：
满足以下任何一个条件的数据，即为室内采样点，否则为室外采样点。
1、数据标签为室内
2、上网方式为WIFI
3、经纬度落入建筑物范围内
室内外用户数统计
统计方法：
按照手机号码做数据去重，获得室内外用户数
室内用户接入网络方式统计
统计方法：
按照手机号码去重，按照移动网络或WIFI进行区分
覆盖电平分布统计（采样点级）
统计方法：
统计落入以下区间的采样点数量
覆盖电平分布统计（用户级）
统计方法：
对于落入相关电平区间的采样点按照手机号码进行去重
覆盖质量分布统计（采样点级）
统计方法：
统计落入以下区间的采样点数量
覆盖质量分布统计（用户级）
统计方法：
对于落入相关电平区间的采样点按照手机号码进行去重
归属地市统计（采样点级）
统计方法：
按照归属地市统计某地市的采样点数量
归属地市采样（用户级）
统计方法：
对于落入相关地市的采样点按照手机号码进行去重统计
归属建筑物统计（采样点级）
统计方法：
对于落入相关建筑物的采样点数量进行统计
归属建筑物采样（用户级）
统计方法：
对于落入相关建筑物的采样点按照手机号码进行去重统计
归属建筑物楼层统计（采样点级）
统计方法：
对于落入相关建筑物内相应楼层的采样点数量进行统计
建筑物楼层采样（用户级）
统计方法：
对于落入相关建筑物内相应楼层的采样点按照手机号码进行去重统计
5.分析呈现功能
1
2
3
3
统计结果图表化呈现
1、以全省地图作为基本呈现，采用红色色阶变化作为用户数量呈现，提供室内用户数和室外用户数选择，默认按总用户数显示；
2、鼠标移动到某个地市，需要呈现出该城市的总采样数量、室内采样数、室外采样数；
3、下方呈现出两个柱状图，一个显示各地市的室内外用户；一个显示各地市覆盖率，数量为采样点数，其中覆盖率统计方法为：
RSRP大于-110且SINR>=-3的采样点比例；覆盖率统计方法可自定义。
4、默认呈现截至当前日期前一天的全量统计数据，提供基于日历的查询功能，可选择任意某天，或某个时间段区间。
提供“当天，全量，区间”选项供用户选择。
5、每天统计昨天和截止到昨天（即总量）的统计数量。
默认显示总量。
当用户选择时间区间时，显示这段时间内数量和（用户数和采样数）。
基于GIS的热力图呈现
1
2
3
3.1
3.2
用户分布呈现
1、对经纬度进行处理，获取每个经纬度范围（精确到100m）内采样点数量，通过手机号码进行出重处理，获取每个经纬度范围内的用户数量
2、默认呈现当前日期前一天全量数据，提供室内用户和室外用户分类呈现
3、支持按地市查询，提供基于日历的查询功能，可选择任意某天，或某个时间段区间。
RSRP呈现
1、对经纬度进行处理，获取每个经纬度范围（精确到100m）内采样点数量，通过求平均值的方式，获取每个经纬度范围内的RSRP平均值
2、默认呈现当前日期前一天全天数据，提供室内和室外分类呈现
3、支持按地市查询，提供基于日历的查询功能，可选择任意某天
DL_SINR呈现
1、默认呈现当前日期前一天全天数据，提供室内和室外分类呈现
3、支持按地市查询，提供基于日历的查询功能，可选择任意某天
覆盖分析
RSRP分析
1、区分地市级和小区级
2、其中地市级提供按区间统计（柱状图）、平均RSRP统计（折线图）、弱覆盖采样点比例（使用两组数据组成图，柱状图为采样点总数，折线图为弱覆盖采样点比例）
3、提供一个表，该表内容为以小区作为最小颗粒度进行统计，弱覆盖采样点比例大于30%的小区数量，按地市汇总
4、当用户点击某个地市时，跳转至新页面，在该页面中呈现该地市满足弱覆盖采样点比例大于30%的小区列表，并显示出TOP1小区最近7天的采样点总数和每天的弱覆盖采样点比例（按天作为统计颗粒度），鼠标单击TOP小区，可呈现出相应TOP小区最近9天的数据
5、默认呈现当前日期前一天的统计数据，提供基于日历的查询功能，可选择任意某天。
DL_SIRN分析
1、区分地市级和小区级
2、其中地市级提供按区间统计（柱状图）、平均DL_SINR统计（折线图），该图为双轴图。
3、提供一个表，该表内容为以小区作为最小颗粒度进行统计，DL_SIRN<=-3采样点比例大于30%的小区数量，按地市汇总
4、当用户点击某个地市时，跳转至新页面，在该页面中呈现该地市DL_SIRN<=-3采样点比例大于30%的小区列表，并显示出TOP1小区最近7天的采样点总数和每天的DL_SIRN<=-3采样点比例大于30%的采样点比例（按天作为统计颗粒度），鼠标单击TOP小区，可呈现出相应TOP小区最近9天的数据
5、默认呈现当前日期前一天的统计数据，提供基于日历的查询功能，可选择任意某天。
小区级覆盖分析
1、默认通过列表形式呈现全省覆盖率TOP100小区，通过饼状图呈现出每个地市占比和数量分布情况
2、当用户点击某个地市时，跳转至新页面，在该页面中呈现该地市DL_SIRN<=-3采样点比例大于30%的小区列表，并显示出TOP1小区最近7天的采样点总数和每天的DL_SIRN<=-3采样点比例大于30%的采样点比例（按天作为统计颗粒度），鼠标单击TOP小区，可呈现出相应TOP小区最近7天的数据
3、提供组合查询功能，支持小区名称、eNODEBID+CELLID等2个查询条件，提供基于日历的查询功能，可选择任意某天，或某个时间段区间
4、查询结果包含采样点总数、室内采样点数、室外采样点数、用户总数、室内用户数、室外用户数、室内平均RSRP、室外平均RSRP、室内平均DL_SINR、室外平均DL_SINR
5、提供单点查询和批量查询，单点查询结果通过列表方式呈现，并加入跳转链接按钮，单击该按钮可将查询结果在GIS呈现；批量查询通过导入模板方式进行查询条件提交，查询结果通过下载方式反馈
价值建筑物分析
3
3.2
3.3
3.4
已覆盖建筑物分析
通过关联工参数据中室分小区经纬度，小区经纬度能够落入到建筑物范围内的，即说明该建筑物已覆盖。
1、通过列表形式呈现出每个城市已覆盖的建筑物数量，有掌厅数据采样点的建筑物数量，弱覆盖建筑物数量（RSRP大于-110且SINR>=-3的采样点比例大于30%），通过双轴图呈现出每个地市有掌厅采样点的建筑物数量（柱状图）和弱覆盖建筑物数量（折线图）
2、当用户点击某个地市时，跳转至新页面，在该页面中呈现该地市DL_SIRN<=-3采样点比例大于30%的建筑物列表，并显示出TOP1建筑物最近7天的采样点总数和每天的DL_SIRN<=-3采样点比例大于30%的采样点比例（按天作为统计颗粒度），鼠标单击TOP建筑物，可呈现出相应TOP建筑物最近7天的数据
3、提供组合查询功能，支持小区名称、eNODEBID+CELLID等2个查询条件，提供基于日历的查询功能，可选择任意某天，或某个时间段区间
4、查询结果包含采样点总数、室内小区做主服务小区采样点数、室外小区做主服务小区采样点数、用户总数、室内用户数、室外用户数、室内小区平均RSRP、室外小区平均RSRP、室内小区平均DL_SINR、室外小区平均DL_SINR
已规划建筑物分析
通过关联规划需求表中室分小区经纬度，小区经纬度能够落入到建筑物范围内的，即说明该建筑物已规划覆盖。
1、通过列表形式呈现出每个城市已规划覆盖的建筑物数量，有掌厅数据采样点的建筑物数量，弱覆盖建筑物数量（RSRP大于-110且SINR>=-3的采样点比例大于30%），通过双轴图呈现出每个地市有掌厅采样点的建筑物数量和弱覆盖建筑物数量
2、提供查询功能，支持小区名称、经纬度等2个查询条件，提供基于日历的查询功能，可选择任意某天，或某个时间段区间
3、查询结果包含采样点总数、用户数、平均RSRP、平均DL_SINR
4、提供单点查询和批量查询，单点查询结果通过列表方式呈现，并加入跳转链接按钮，单击该按钮可将查询结果在GIS呈现；批量查询通过导入模板方式进行查询条件提交，查询结果通过下载方式反馈
未规划建筑物分析
通过关联工参数据和规划需求表中室分小区经纬度，无小区经纬度能够落入到建筑物范围内的，即说明该建筑物为为规划建筑物。
1、通过列表形式呈现出每个城市已规划覆盖的建筑物数量，有掌厅数据采样点的建筑物数量，弱覆盖建筑物数量（RSRP大于-110且SINR>=-3的采样点比例大于32%），通过双轴图呈现出每个地市有掌厅采样点的建筑物数量和弱覆盖建筑物数量
2、提供数据下载功能，可下载地市全量为规划建筑信息，内容包含建筑物名称、采样点数量、用户数量、平均RSRP和平均DL_SIRN
多维度室内立体定位
数据处理
1、预留接口，对接扫楼APP服务器，用以获取扫楼APP数据
2、数据处理，将经纬度点作为起始点，栅格边长为12m，将归属于栅格内数据通过距离计算获取到其经纬度，对于同一栋楼，有不同楼层的，按照相应楼层处理
3、对扫楼数据进行统计，RSRP大于-110采样点占比大于30%的楼宇归类为弱覆盖建筑物
扫楼结果整体呈现
1、通过列表形式呈现出每个城市已完成扫楼的建筑物数量，弱覆盖建筑物数量、弱覆盖建筑物比例
2、按地市统计图，呈现完成扫楼数量（柱状图）、弱覆盖建筑物比例（折线图），通过双轴图呈现
3、单击相应地市，跳转至GIS页面，将该地市有扫楼数据的建筑物标记出来，其中弱覆盖建筑物用红色图标，其他的用蓝色图标
单楼宇结果呈现
1、点击图标后弹出页面，左侧默认显示最低楼层测试点轨迹，轨迹点颜色参考2.14章节图例，右侧分上下两块，上块显示该建筑物RSRP区间统计采样点数量和占比，下块提供楼层切换，显示当前楼层按RSRP区间统计采样点数量和占比
基于家庭宽带建筑物定位呈现
1、通过列表形式呈现出每个城市已完成家宽定位的建筑物数量，弱覆盖建筑物数量、弱覆盖建筑物比例
2、按地市统计图，呈现完成家宽定位（柱状图）、弱覆盖建筑物比例（折线图），通过双轴图呈现
3、单击相应地市，跳转至GIS页面，将该地市家宽定位的建筑物标记出来，其中弱覆盖建筑物用红色图标，其他的用蓝色图标
4、单击相应建筑物，呈现出每个楼层的用户分布位置以及相应位置的RSRP，每个楼层的统计结果，以及该建筑该楼层最近一周的覆盖数据
基于GIS的采样查询
1、基于XX地图提供GIS呈现，支持平面地图、卫星地图、街景三种模式；
2、GIS查询默认基于当前日期前一天数据，提供基于日历的日期选择功能，支持单天和时间段区间选择；
3、支持地名检索、经纬度检索，默认显示出检索区域一公里范围内（距离范围可调整）采样点分布情况，提供RSRP或SINR数据选择（暂不支持条件多选），采样点提供照室内、室外、全量三个选择条件，默认呈现全量数据。
4、支持基于eNODEBID+CELLID组合和基于小区名称的单点查询，呈现内容为该小区下采样点分布和基本统计结果，统计结果包含：
覆盖电平分布统计（采样级）、覆盖电平分布统计（用户级）、覆盖质量分布（采样级）、覆盖质量分布（用户级）、室内外采样点统计、室内外用户数统计
5、支持基于工参（eNODEBID和CELLID组合）和经纬度的批量查询，通过导入excel表格的形式提交批量查询目标，平台提供查询结果下载功能。
对于基于工参的批量查询，输出结果包含相关小区下的覆盖电平分布统计（采样级）、覆盖电平分布统计（用户级）、覆盖质量分布（采样级）、覆盖质量分布（用户级）、室内外采样点统计、室内外用户数统计
对于基于经纬度的批量查询，输出相关经纬度附近1KM内的覆盖电平分布统计（采样级）、覆盖电平分布统计（用户级）、覆盖质量分布（采样级）、覆盖质量分布（用户级）、室内外采样点统计、室内外用户数统计
重要场景覆盖分析
1、提供场景数据管理，场景数据可通过商业地图获取、亦可以通过导入多边形方式图层方式添加，场景归类包含但不限于高校、医院、交通枢纽、高铁、地铁、高速、居民区、旅游景点、政府部门等
2、提供场景内全量数据的统计，统计指标包含RSRP、DL_SINR、室内用户、室外用户等，呈现方式为表图方式
3、单击相应的场景，在GIS上呈现出场景内所包含区域位置，并能够提供RSRP、DL_SINR、室内用户、室外用户等指标的呈现，默认显示前一天数据，可自定义查询起始、截止时间，可按时间呈现或全量呈现
室分质量评估
1、对于新入网室分站点，分析覆盖建筑物内用户接入方式，以及用户所处位置，构建室分建设合理性评估算法，对室分建设质量进行评估。
对于有室分的小区，统计室内用户占用室分小区的比例，统计室外用户占用室分小区的比例，统计室分小区的各RSRP分布区间比例、平均RSRP。
统计当室外用户占用室分小区时，上报的室分小区信号RSRP分布区间、平均RSRP。
统计当室内用户占用室外小区时，上报的室外小区信号RSRP分布区间、平均RSRP。
2、按照地市、建筑物、楼层、室分小区等维度对室分建设效果进行评估
其他统计报表
1、室内用户分布统计（按地市+RSRP区间统计，统计采样点数量和用户数量）
2、室外用户分布统计（按地市+RSRP区间统计，统计采样点数量和用户数量）
3、全量用户统计（按地市+RSRP区间统计，采样点数量和用户数量）
6.平台间数据互通与接口
将采集到的数据，经处理后，将有效数据原始表传送到数据共享平台，供其他系统调用。
将该系统与集中优化平台、虚拟路测平台、室分精准规划平台、数据共享平台对接。
从集中优化平台获取小区工参、资源管理数据、规划基站、新开通基站等信息，从室分精准规划平台获取弱覆盖楼宇等信息，从
升级会员 