广东移动计费数据采集扩容体系结构.docx
《广东移动计费数据采集扩容体系结构.docx》由会员分享，可在线阅读，更多相关《广东移动计费数据采集扩容体系结构.docx（20页珍藏版）》请在冰点文库上搜索。
广东移动计费数据采集扩容体系结构
广东省移动通信有限责任公司计费采集系统扩容项目
体系架构设计
（版本1.1.1）
（机密confidential）
广东省电信规划设计院
GuangdongPlanningandDesigningInstituteofTelecommunications
2002年12月
文档更改历史记录
序号
主要更改内容
版本号
更改人
更改时间
1
根据原软件体系架构和硬件体系架构重新编写
V1.0.0
赵仕嘉
2002-12-22
2
根据现实情况修改部分细节；添加设备清单附件
V1.1.0
赵仕嘉
2002-12-24
3
删除设备清单附件。
V1.1.1
赵仕嘉
2002-12-25
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
目录
一、系统环境分析1
1.1系统环境概述1
1.2系统需求2
二、计费采集流程分析与设计3
三、计费采集系统体系架构5
3.1体系架构5
3.2网络结构6
1）计费网元7
2）市采集中心8
3）省中心9
3.3软件部署9
1）市采集中心11
2）BOSS省中心数据交换服务器12
3）现有计费中心12
4）业务管理服务器12
5）网元12
四、数据分析与硬件配置12
4.1主机12
4.2存储13
4.3磁带机14
4.4MO接口14
五、关键技术的使用15
5.1HA的应用15
5.2中间件的使用16
一、系统环境分析
广东移动计费采集系统扩容项目将对现有计费采集系统进行扩容和改造。
针对现有系统成本较高、负荷量大、速率低的缺点，将现有二星型结构改变成二级汇集形式，在22个各地级市增设本地网汇集中心，各地级市本地网所有计费网元的数据将采用TCP/IP协议，由各交换机数据输出口汇接到机房路由器，再通过传输电路送给位于市汇集中心的集中采集主机，集中采集主机进行初步处理后再发往省计费中心。
通过本次改造，我们将满足以下业务需求：
◆缩短计费采集时延，提高实时计费的能力。
◆从传输、主机、应用等方面，提高计费采集系统的可靠性。
◆加强系统备份能力。
◆加强系统监控能力。
◆降低系统运作与维护成本。
一.1系统环境概述
在本项目中，与计费采集系统相关的参与者和外部系统包括有：
业务监控人员、系统监控维护人员、BOSS省中心系统、现有计费中心系统、现有计费采集系统，为计费采集系统提供计费原始话单数据的各种网元，主要有MSC网元、SCP网元、短信网元（包括ISMSC、ISMG、IOD等）、GPRS和彩信网元、WAP网元。
如图所示。
一.2系统需求
计费采集系统各个参与角色的主要功能需求与非功能需求如下表所示，详见《计费采集系统需求分析说明书》。
系统角色
功能需求
非功能需求
BOSS省中心
1.采用标准格式，标准文件名及时上传
2.不做文件名查重工作
1.数据可保留14天
2.高可用性
3.年底开始需提供一段时间试验数据
计费中心
采用现有格式与文件名
在BOSS省中心正式投产前必须保证计费中心的正常运作
网元
采用FTAM或FTP协议及时采集;同时采集多个网元的数据
业务监控人员
1.及时发现业务处理过程中出现的问题（监测）
2.远程或现场解决问题（控制）
系统监控人员
可监测主机、存储、网络设备各项指标
现有计费采集系统
不中断采集的割接
二、计费采集流程分析与设计
计费采集的基本流程主要包括网元采集、数据预处理、文件备份、数据传输和系统监控五部分。
其中数据预处理又可分为文件名标准化、压缩、加密等多个处理步骤。
系统对整个流程的每一个步骤都进行监控。
整个流程如下图所示：
在过渡阶段，考虑到现有计费中心需要计费采集系统按现有的文件格式提供数据（见上系统需求部分描述），因此数据的传输包括两部分，一是将网元采集来的数据按现行格式处理后上传到计费中心；二是将网元采集的数据经处理后，按新的格式上传到BOSS省中心，如下图。
1）网元采集：
主要功能是从下属各个网元（包括MSC、SCP、短信、GPRS等）采集原始话单数据。
其中MSC网元采用FTAM协议进行传输（Ericsson交换机采用基于TCP/IP的FTAM协议，Simens交换机采用基于X.25的FTAM协议），其他网元则采用FTP协议进行传输。
采集来的原始话单文件为网元自动生成的标准文件，详见《采集改造项目系统需求分析说明书》。
2）数据预处理：
是对采集来的原始话单文件按计费系统的要求进行文件名标准化，再进行压缩、加密处理。
由于需对BOSS省中心与现有计费中心同时提供数据，因此，文件名标准化须根据BOSS省中心与计费中心的要求分别进行处理。
BOSS省中心与现有计费中心的话单格式，详见《采集改造项目系统需求分析说明书》。
3）数据传输：
将处理完的文件分别传输到BOSS省中心和计费中心。
4）文件备份：
处理完的文件同时备份到本地硬盘中，并至少保留14天。
5）业务监控代理：
不影响正常处理流程的前提下，同时收集以上处理过程中的处理信息，并及时传送到监控中心进行分析处理。
三、计费采集系统体系架构
三.1体系架构
基于上述需求及流程分析，计费采集系统采用以下体系架构方案，如图。
说明：
1）市采集中心采用双机备份的HA架构，保证系统的高可用性。
由于采用HA架构，因此需要使用共享存储（ShareDisk）。
2）市采集中心采集的网元有两种，网元一包括有短信网元、SCP网元、GPRS网元等；这些网元的采集都是采用FTP协议。
网元二为MSC网元，其中Ericsson网元使用基于TCP/IP的FTAM协议采集，Simens网元使用基于X.25的FTAM协议采集。
3）BOSS省中心与市采集中心采用消息中间件MQ进行数据传输。
计费中心与市采集中心采用FTP协议进行数据传输。
4）监控包括业务监控与系统监控，采用Socket（TCP/IP）进行通信。
三.2网络结构
整个计费采集系统采用二级汇集的形式，在22个地级市设置本地网汇集中心，各地级市本地网所有计费网元的数据由各自交换机数据输出口汇接到机房路由器，再通过传输电路送给位于市采集中心的集中采集机进行采集。
集中采集机分成主备两台，由主机负责网元采集、数据预处理、文件备份和数据传输。
如下图：
1）计费网元
计费网元机房的局域网中，各计费网元的GSM、短信、IOD等数据采集将同时采用TCP/IP，各交换机数据输出口直接通过双绞线汇接到机房的switch或者HUB上，然后连上路由器，若hub离路由器超过100米，则通过光纤加光电转换器或在中间增加一个hub实现连接；路由器再通过传输电路把数据送给位于市汇集中心的服务器。
广域网的连接为：
主电路走传输，传输电路尽量利用移动内部的E1（如当地移动局没有，申请电信的E1）。
利用局间2M的E1电路作为各采集点路由器到市采集中心的计费传输，既方便灵活有效而又比租DDN电路经济。
设计大致原则是，建议4个网元共用一条2M的E1线路传输，这样可保证每个网元500K左右的传输带宽（同时传输数据时），在话务量相对较少的地市每6到8个网元共用一条2M的E1线路。
备份线路采用ISDN，在网元数目较多的机房，建议使用E1（申请与主电路不同局向的E1）或MUX做备份（利用机房原有的MUX和DDN剩余时隙）。
原有网元机房到省计费中心的长途DDN电路在过渡方案中保留，电路割接到新的路由器上，以便在需要的时候切换成旧的采集方式进行采集和传输。
2）市采集中心
市采集中心网络设备放在各市移动BOSS中心，能够很好地保证整个网络的有效运行，便于维护和管理。
如果出现问题，各地局方能及时解决。
市采集中心主要是起汇接本市各计费网元传输电路的作用，要求路由器具有多接口及可扩展插槽，且足够的背板交换能力，做到non－blocking。
路由器的板卡和端口数量主要是根据市内采集点网元数量以及每个网元的数据量来定，并按局方要求保证少量的预留（根据局方对近两年的机房扩容需求）。
针对各个市的情况配置不同型号的路由器，在网元机房数量较多的市，配置较高档的路由器。
配置原则为：
小于等于三个E1的地方局采用cisco26系列的路由器，小于等于八个E1的地方局采用cisco36系列的路由器，大于8个E1的地方局则采用cisco72系列的路由器。
为了加强网络的可靠性，分担负载，并防止单点故障，每个市中心放置相同配置的两台路由器，两个路由器间配置HSRP。
以此保障在一个路由器出现故障的时候，另一个路由器能够马上接替。
在配置路由器的过程中，还可以进行流量分担的配置，充分利用资源。
也就是说从同一个采集机房出来的E1和ISDN线路将分别接到不同的路由器上。
两台路由器都各自连接一部分E1和ISDN以分担负荷。
市采集中心的另一个作用是通过MDCN连接省中心，将本市的所有数据及时地传送过去。
MDCN网已经开启了MPLSVPN的应用，将为计费采集系统新建一个VPN，市采集中心新增的两台路由器在其中都充当CE，与MDCN网中的PE设备互联。
3）省中心
省中心配备多台高端路由器，与各市采集中心之间通过MDCN传输,其具体配置可参看工程设计文件。
三.3软件部署
计费采集系统软件部署如图。
1）市采集中心
市采集中心采用双机备份架构，主机中部署的软件主要包括：
计费采集应用软件、监控代理、MQSeriesServer以及HACMP。
备机中则部署HACMP，通过HACMP实现主备机的切换。
计费采集应用软件包括：
网元数据采集，文件预处理，备份管理，文件传输，系统监控，总控进程等部分。
网元采集负责实现各网元原始计费文件的采集功能，采集协议采用FTAM和FTP协议。
文件预处理实现对于原始文件的文件名格式化，加密压缩等处理功能。
备份管理实现对于原始文件的本地硬盘备份，光盘备份的备份功能。
文件传输对于计费中心的数据提供是由采集系统提供数据源，由计费中心主动去取。
对于省BOSS的数据采集，是通过MQ中间件来实现。
对于以上的进程，可以根据网元的数量和处理负载，启动一个或多个进程构成进程组来完成高效的数据处理功能。
总控进程负责调度各数据处理模块的运行和记录每个文件的处理过程日志。
总控进程和各数据处理模块之间的通信通过由UNIXIPC消息队列和信号量构建的消息通道来进行。
各数据处理模块从总将本模块的数据处理信息发送给总控进程，由总控进程进行计费采集生产过程的记录。
同时，总控进程负责转发文件处理信息，激活下一个处理进程完成对文件的下一步处理。
其基本流程简要描述如下：
1）网元采集进程采集到一个原始数据文件，将相关信息发送给总控模块；
2）总控模块首先在记录网元采集进程处理该文件的相关信息，同时发送文件预处理消息和文件备份消息给空闲的文件预处理进程和备份管理进程；
3）文件预处理进程和备份管理进程接送到消息后，读取消息中的相关信息，对文件进行预处理和备份。
在处理完成后，发送消息给总控进程；
4）总控进程在接收到文件预处理和备份完毕的消息后，记录该文件预处理和备份的相关信息，同时发送文件传输消息给空闲的文件传输进程；
5）文件传输进程在收到消息后，完成文件传输。
对于计费中心，文件传输进程在相关接口目录下生成文件，以供计费中心采集；对于BOSS中心，文件传输进程将文件PUT到MQ队列中，由MQ队列完成文件的传输。
文件传输进程在文件传输完毕后，发送消息给总控进程；
6）总控进程在接收到文件传输成功的消息后，记录该文件传输的相关消息。
至此，一个文件的整个处理流程完毕。
2）BOSS省中心数据交换服务器
市采集中心采集的数据将通过MQ传输给BOSS省中心系统的数据交换服务器（详见BOSS省中心体系架构）,因此在BOSS省中心的数据交换服务器中需部署MQ服务器。
3）现有计费中心
运行现有计费系统，使用FTP从市采集中心采集数据。
4）业务管理服务器
部署监控系统，对监控代理收集的各种监测数据进行分析处理，并将系统信息传送到Tivoli服务器，以Tivoli事件形式展现。
5）网元
四、数据分析与硬件配置
四.1主机
每个市采集中心配置两台相同的IBM服务器作为集中采集机，机型以IBMP610为主，广州、深圳业务量大的地方局则配置更高档次的P630。
各地方主机的具体配置如下表所示：
局名
话单数
每天交易量
交易时间（分钟）
忙时TPC-C（3倍）
冗余后（150％）
配置
云浮
1826834
182683.4
1440
380.6
570.9
P610（1CPU）
河源
2181200
218120
1440
454.4
681.6
P610（1CPU）
阳江
2775202
277520.2
1440
578.2
867.3
P610（1CPU）
梅州
3750584
375058.4
1440
781.4
1,172.1
P610（1CPU）
汕尾
3934530
393453
1440
819.7
1,229.5
P610（1CPU）
韶关
4002717
400271.7
1440
833.9
1,250.8
P610（1CPU）
茂名
5121981
512198.1
1440
1,067.1
1,600.6
P610（1CPU）
肇庆
4874223
487422.3
1440
1,015.5
1,523.2
P610（1CPU）
潮州
5033433
503343.3
1440
1,048.6
1,572.9
P610（1CPU）
清远
5672167
567216.7
1440
1,181.7
1,772.6
P610（1CPU）
湛江
7394091
739409.1
1440
1,540.4
2,310.7
P610（1CPU）
揭阳
8968549
896854.9
1440
1,868.4
2,802.7
P610（1CPU）
珠海
11653402
1165340.2
1440
2,427.8
3,641.7
P610（1CPU）
顺德
11399942
1139994.2
1440
2,375.0
3,562.5
P610（1CPU）
佛山
12388064
1238806.4
1440
2,580.8
3,871.3
P610（1CPU）
江门
12116229
1211622.9
1440
2,524.2
3,786.3
P610（1CPU）
汕头
14240678
1424067.8
1440
2,966.8
4,450.2
P610（1CPU）
惠州
12910567
1291056.7
1440
2,689.7
4,034.6
P610（1CPU）
中山
15069855
1506985.5
1440
3,139.6
4,709.3
P610（1CPU）
东莞
46947427
4694742.7
1440
9,780.7
14,671.1
P610（1CPU）
深圳
68419057
6841905.7
1440
14,254.0
21,381.0
P630（4CPU）
广州
123624111
12362411.1
1440
25,755.0
38,632.5
P630（4CPU）
每个市采集中心的采集机有如下配置：
☐两台服务器共享一个RAID1的磁盘阵列
☐每台服务器上安装MQServer
☐每台服务器上安装IBMHACMP
四.2存储
在计费采集机上，必须对采集回来的数据进行备份存储。
考虑到安全性的问题，至少要在采集机上保留两周的数据，还要预留50％的空间作为以后业务发展的需要。
另外硬盘上还要有保存一年表数据的空间。
各个地方局可以根据不同的业务量配置不同大小的硬盘。
下表为根据话务量计算出来的硬盘配置：
市
天（2002－8－19）
周（2002-8-13~2002-8-19）
硬盘配置
压缩后文件
（M）
原始文件
（M）
文件数
压缩后文件
（M）
原始文件
（M）
文件数
磁盘容量
（GB）
磁盘数量
（块）
潮州
266
911
493
2076
6927
3524
36
2
东莞
2391
8267
4002
16975
57926
27569
140
4
佛山
535
1986
1156
3931
14539
8364
36
6
广州
5465
20335
11143
37715
141579
76830
140
8
河源
113
397
263
840
2819
1743
36
2
惠州
646
2314
1593
4745
16864
11424
72
2
江门
573
2053
1509
4146
14635
10584
72
2
揭阳
404
1519
1272
3007
10774
8732
72
2
茂名
246
867
1143
1886
6371
8223
36
2
梅州
190
644
391
1480
4937
2809
36
2
清远
286
1104
775
1970
7295
4884
36
2
顺德
567
1918
1210
4036
13594
8448
72
2
韶关
216
739
454
1575
5339
3182
36
2
汕头
584
2213
1399
4309
16234
10165
72
2
汕尾
192
701
610
1422
5059
4264
36
2
深圳
3307
11659
6259
24329
85097
45197
140
4
云浮
92
334
234
677
2330
1619
36
2
阳江
144
504
352
1065
3554
2331
36
2
珠海
535
1986
1429
3731
13403
9511
72
2
湛江
362
1289
969
2857
9616
6628
36
2
肇庆
255
838
404
1865
6423
2887
36
2
中山
738
2560
1651
5206
17729
11236
72
2
四.3磁带机
由于原始话单数据在BOSS省中心统一备份，市采集中心无需备份数据只需要对系统进行备份，因此采用内置磁带机。
四.4MO接口
采集主机上预留MO接口，即配置一台SCSI接口的MO机作为光盘备份设备，如果需要可以通过光盘备份程序取得话单文件。
五、关键技术的使用
五.1HA的应用
在本项目中，为了保障数据采集系统的高可用性，对地市采集中心采用双机备份的方式构建成集群系统，集群软件采用IBMHACMP软件，采用共享磁盘阵列的方式。
将数据采集应用系统部署在共享磁盘阵列上，同时，采用共享磁盘阵列作为原始采集文件，中间数据，最终文件的存储空间。
其结构如图所示。
在主备机都正常工作时，在主机上启动数据采集应用，完成数据采集功能，此时，磁盘阵列有主机接管，由主机上运行的数据采集应用访问存储空间。
当主机不能正常工作时，由备机接管磁盘阵列，同时，在备机上启动数据采集应用完成数据采集工作，此时，由备机实现对共享磁盘阵列的访问。
这些磁盘的接管，应用的接管，IP地址的接管都是由HACMP软件自动完成。
五.2中间件的使用
在计费采集系统中，将采用消息中间件MQ实现从市采集中心到BOSS省中心的数据传输。
MQSeriesServer部署在市采集中心主机中，并与BOSS省中心数据交换主机和区域BOSS前置机的MQSeriesServer构成MQSeries群集，关于BOSS系统中的MQ的使用详见《BOSS省中心体系架构设计》。
升级会员 