DPI4G部分查勘提纲采集解析设备和数据合成服务器讲解.docx
《DPI4G部分查勘提纲采集解析设备和数据合成服务器讲解.docx》由会员分享，可在线阅读，更多相关《DPI4G部分查勘提纲采集解析设备和数据合成服务器讲解.docx（20页珍藏版）》请在冰点文库上搜索。
DPI4G部分查勘提纲采集解析设备和数据合成服务器讲解
中国移动统一DPI设备整合一期工程查勘提纲
（数据合成服务器、采集解析设备及分光/光放设备）
一、本工程建设内容
本工程建设内容为4G数据采集层及数据解码层设备，包括分光（含光放）/TAP设备、分流汇聚设备、采集解析设备、数据合成服务器设备以及组网设备。
二、LTE接口情况及采集方式
1、本工程采集的LTE接口
本规范涉及的4G接口包括Uu、X2、S1-MME、S1-U、S6a、SGs、S11接口。
现网中，采用SAE-GW与GGSN融合、MME与SGSN融合、HSS与HLR融合的方式，各接口情况如下图所示：
●无线侧接口：
UU：
是UE和eNB之间的接口；
X2接口是eNB之间的接口；
UU、X2均分为控制面和用户面,由于软采集用户面数据对设备影响太大，在UU、X2口仅采集信令面数据。
●核心网侧接口：
S1接口：
S1-MME为eNB与MME/SGSN设备之间的接口，该接口为信令面接口；
S1-U为eNB与SAE-GW/GGSN设备之间的接口，该接口为用户面接口；
S6a为MME和HLR/HSS之间的接口，该接口为信令面数据，相当于原SGSN与HLR之间的Gr接口；
SGs为MME和MSCSERVER之间接口，该接口为信令面数据，相当于原SGSN与MSCSERVER之间的Gs接口；
S11接口为MME与S-GW之间的接口，该接口为信令面数据。
2、LTE相关接口采集方式
通过硬采方式，实现LTES1-MME、S1-U、S6a、SGs等信令和数据端口的分流，其中S1-MME、S6a、SGs的采集点设置在SGSN/MME侧，S1-U、S11口的采集点设置在GGSN/SAE-GW侧。
需要说明的是，在GGSN/SAE-GW侧,若S11接口与Gn接口物理合设，则由现网2G/3GDPI厂商通过其分流汇聚设备，将已采集的S11接口原始消息送至4GDPI厂商，若S11接口为独立物理接口，则需要在S11独立物理部署分光/TAP设备进行采集。
通过软采方式实现LTE无线侧设备的Uu口、X2口的信令数据的输出功能。
在4G一期项目中，无线网管规范要求各基站厂家提供的网管系统中必须有流量汇聚适配器（SCA），用于对LTE无线侧接口（Uu口、X2口）的信令软采，流量汇聚配置器（SCA）设备由各省自行解决,各省将SCA软采的Uu口、X2口信令汇聚至全省集中节点。
统一DPI工程将在各省集中节点设置的Uu口、X2口采集解析设备。
三、总体建设方案
1、建设内容总体描述
（1）数据合成服务器
数据合成服务器负责接收采集解析服务器的上报的原始数据及单接口XDR，对这些数据进行处理与接口间关联合成，然后将合成的XDR数据上报给共享层；
数据合成服务器需支持全量原始数据输出接口，将全量原始数据输出至省内自建系统。
数据合成服务器需要对上传数据进行缓存，对Uu、X2、S1-MME、S6a、SGs、S11及去掉Payload的S1-U的原始数据进行存储。
数据合成服务器将接收来自S1-U接口采集解析设备的还原文件和文件相关日志等信息，并采用FTP方式将以上信息传递给手机恶意软件在省内单节点部署的样本监测采集模块，FTP时间粒度为5分钟。
数据合成服务器需将S1-MME、S11、S6a、SGs及S1-U的全量XDR通过上报网关送至集中化经分系统。
针对指定系统，数据合成服务器需具备用户在线状态及用户日志查询、告警上报、访问日志上报、访问日志重报等功能，协议包含但不限于http、https、ftp、smtp、imap、pop3、dns、snmp等。
针对指定系统，数据合成服务器需留存经CMNET的数据流日志（经WAP网关的数据流由WAP网关留存日志）。
数据合成服务器数据至上层系统流向如下表所示：
数据分类
数据流向（北向）
使用方
存储需求
XDR及原始数据
共享层
共享层
原始数据2天
原始数据
省内系统
省内系统
/
XDR
上报网关
集中化经分系统
/
日志1：
指定系统查询日志
查询平台
指定系统人员
2个月
日志2：
指定系统上报（重报）日志
上报网关
指定系统
样本还原文件（北京、江苏、广东、陕西）
手机恶意软件监测系统样本监测采集模块
手机恶意软件监测系统
/
（2）采集解析设备
采集解析设备接收来自采集接入设备的Uu/X2/S1-MME/S1-U/S6a/SGs/S11等接口全量原始数据，对原始数据进行控制面处理和用户面处理：
控制面原始数据解码、合成、各协议关联、用户信息回填（S11接口与S1-U接口的关联、S6a与S1-MME接口的关联在采集解析设备完成），生成信令面数据XDR；用户面数据解码，保留包头不包括payload数据，生成用户面数据XDR。
最后向数据合成服务器输出各接口XDR及其对应的原始数据等基本数据。
采集解析设备解析、记录并上报所有APN为CMNET、CMTDS、CMWAP等的上网记录。
协议包含但不限于http、https、ftp、smtp、imap、pop3、dns、snmp等。
采集解析设备能够对S1-U数据流量进行还原获得网络日志和样本文件，将还原得到的文件和文件相关日志等信息送至全省集中设置的数据合成服务器。
（3）分流汇聚设备
为保证会话完整性,对于同一用户的单次PDP所有流量需在同一采集解析设备处理，为满足该需求，部分局址需配置分流汇聚设备，现网S1-MME、S1-U、S6a、SGs等链路通过分光、TAP方式采集后将链路流量送入分流汇聚设备，经分流/汇聚后送至采集解析设备。
（4）分光（含光放）/TAP设备
现网S1-MME、S1-U、S6a、SGs、独立设置的S11口等链路通过分光、TAP方式进行采集。
本工程根据各省需求配置分光（含光放大器）、TAP设备。
2、系统组网路由
路由组织描述如下，采用公网形式组网时需采取安全防护措施。
●数据合成服务器与采集解析设备间组网要求（南向）
分光设备/TAP设备、分流汇聚设备、采集解析设备、防火墙日志采集前置机放置在SGSN/MME、GGSN/SAE-GW所在局点机房，数据合成服务器全省集中设置。
每套数据合成服务器支持连接一套或多套采集解析设备、GGSN/SAE-GW出口防火墙接口机。
采集解析设备与数据合成服务器间，GGSN/SAE-GW出口防火墙与数据合成服务器间，在保证传输安全的前提下，可通过专线、省内专网、CMNET等方式相连。
本次采购设备配置按照采用CMNET的方式配置所需网络设备及报价，工程实施时若与模型要求不同，但仍在专线、省内专网、CMNET范畴内，按照实际组网需求进行供货和实施。
在采集防火墙NAT日志信息时，需要在靠近防火墙的位置部署防火墙日志采集前置机。
该前置机的作用是实时接收防火墙输出的syslog、二进制字符流等形式的NAT日志，并解析接收到的日志信息，生成日志文件。
数据合成服务器从前置机采集压缩后的防火墙日志文件。
防火墙日志采集前置机由省公司在防火墙改造工程中配置，不在本次采购范围内。
本项目需实现防火墙日志采集前置机与数据合成服务器之间的接口。
本工程防火墙前置机可通过采集解析设备的局域网交换机上传数据至数据合成服务器。
●数据合成服务器与共享层之间组网要求（北向）
数据合成服务器与共享层之间通过CMNET方式连接预留。
●数据合成服务器与用户上网日志查询系统间组网要求（北向）
用户上网日志查询系统为单点组网，数据合成服务器为多点组网，且应按照省份进行部署。
所有数据合成服务器与用户上网日志查询系统通过CMNET建立连接。
●数据合成服务器与上报网关间组网要求（北向）
上报网关为单点组网，数据合成服务器为多点组网，且应按照省份进行部署。
所有数据合成服务器与上报网关通过CMNET建立连接。
●数据合成服务器与手机恶意软件监测系统样本监测采集模块（DA）（北向）
北京、江苏、陕西、广东节点的数据合成服务器通过专线方式，分别连接至4省手机恶意软件监测系统日志检测模块。
●数据合成服务器与省内自建系统（北向）
数据合成服务器通过专线方式，分别连接至各省自建系统用于输出全量原始数据。
四、本工程设计分工
本工程由中国移动通信集团设计院有限公司负责设计，采用硬件督导、软件交钥匙的方式进行，即第三方硬件设备厂家负责设备的安装，建设单位负责硬件相关线缆的布放，集成商负责硬件设备的安装督导及线缆布放的督导，软件安装和软硬件调测至最终上线运行。
本设计与建设单位及设备厂家的分工具体如下：
本设计负责：
（1）机房平面设计，包括设备的摆放和相关电缆的布放设计；
（2）开列配套材料和设备的费用；
（3）开列主设备线缆的布放工日。
第三方硬件厂家负责：
（1）根据合同提供本工程新增的第三方设备及电源线；
（2）负责新增设备的安装及操作系统软件的调测。
集成商负责：
（1）根据合同提供本工程新增设备及相关线缆；
（2）本工程新增设备的现场安装督导以及线缆布放督导；
（3）本工程软件的安装；
（4）本工程整体系统调测，直至开通运行。
建设单位负责：
（1）提供符合本工程安装条件的机房；
（2）采购本工程新增的配套设备及材料；
（3）本工程新增设备（第三方设备除外）的安装及新增设备的线缆布放；
（4）本工程所需传输电路的调度。
五、本系统与外部系统的分工界面
◆数据合成服务器（涉及北京、江苏、陕西、广东）与手机恶意软件监控子系统DA模块：
负责本系统至本端传输设备的线缆布放，手机恶意软件监控子系统负责对端系统至对端传输设备的线缆布放，并由双方配合完成对接联调工作。
◆数据合成服务器与防火墙前置采集机：
本工程防火墙前置机可通过采集解析设备的局域网交换机上传数据至数据合成服务器，对接由防火墙前置采集机负责，数据合成服务器配合联调。
◆本系统与网管系统：
数据合成服务器侧配置网管采集机，本期工程数据合成服务器系统需连接至网管交换机。
◆本系统与4A系统：
数据合成服务器配置4A采集机，本期工程数据合成服务器系统需连接至4A系统交换机。
六、查勘时间要求
8月25日前完成现场查勘，8月31日前反馈查勘反馈内容。
9月中完成施工图设计。
七、查勘要点（重要）
本期工程以省为单位，新建数据合成服务器、采集解析设备（含分流汇聚设备）和分光/光放/TAP设备。
采集解析设备（含分流汇聚设备）和分光/光放/TAP设备设置在分站点机房，数据合成服务器设置在中心站机房。
查勘后请务必提供省公司收货地址、收货人及工程接口人的联系方式。
1分站点查勘
（1）分站点的主要设备包括：
分光设备和TAP、分流汇聚设备、采集解析设备、局域网交换机、防火墙（仅在采用CMNET方式连接的省份配置）。
其中分流汇聚设备、采集解析设备、采集设备机架、KVM为集成商自产设备，局域网交换机、防火墙、分光/光放/TAP设备为第三方厂家通用设备，由集采分配相关厂家。
模型配置情况参见《附件1-模型设备清单》。
（2）由于本期工程为按照模型采购，各省按照模型上报采购需求，因此查勘时除其他常规查勘内容外，首先需明确以下内容：
Ø分站点的具体局址、每个分站点的GGSN/SAE-GW、SGSN/MME的数量、名称、端口数量及类型。
Ø设备调整情况：
⏹分光：
明确本期工程需要采购的分光/光放/TAP设备数量及类型；
⏹分流汇聚：
若链路类型情况与采购模型情况差别较大，可对分流汇聚设备端口情况进行调整；若链路类型调整不大，只是端口数量略少于采购模型，原则上不进行调整。
⏹采集解析设备：
数量原则上不进行调整。
⏹交换机设备：
数量原则上不进行调整，若SGSN/MME和GGSN/SAE-GW为同局址，可考虑共用交换机设备。
⏹防火墙：
本次采购模型分站点都配置有防火墙，但实际情况若分站点至中心站不通过CMNET疏通，将清单中防火墙删除。
（3）关于分光情况的说明
Ø单模分光默认为1分8；
Ø多模分光默认为1分4；若省里有1分8的需求，调整为2次1分4；
Ø对于分光设备和采集解析设备同局址异楼层的情况（原则上应尽量避免这种情况，如果有该情况，请专门说明），统一将分光设备的输出链路类型由GE多模调整GE单模，原链路类型保持不变（这种情况下，每芯的光放要配1个多模+1个单模，1分4或1分8的分光器配置单模）。
ØTAP的分流需求默认为1分4，输出端口为收发双向分开的单模光纤。
Ø因本次查勘时分光设备（含光放）/TAP选型未定，因此分光设备（含光放）/TAP情况请参照《附件5-分光及TAP设备占地及功耗计算表》按照局址计算分光（含光放）/TAP设备的数量、占地、功耗和电源端子需求。
Ø本次采集解析设备和数据合成服务器新增机柜和KVM设备为集成商提供，分光/光放/TAP可利旧原有分光设备机柜，如原有分光设备机柜不能满足新增分光/光放/TAP设备安装需求，则由建设单位配套购买机柜及机柜至配电屏、地线排的电缆。
（4）S11接口的说明
在GGSN/SAE-GW侧,若S11接口与Gn接口物理合设，则由现网2G/3GDPI厂商通过其分流汇聚设备，将已采集的S11接口原始消息送至4GDPI厂商。
S11接口的汇聚以及上联至GGSN/SAE-GW采集解析设备的线缆布放由各省2G/3G上网日志留存项目负责，本期工程只需要按照模型所列的S11汇聚后的端口数预留分流汇聚设备的端口即可。
若S11接口为独立物理接口，则需要在S11独立物理部署分光/TAP设备进行采集，在查勘反馈中专门说明。
2中心站查勘
中心站的数据合成服务器主要硬件包括:
PCServer、局域网交换机、防火墙，均为第三方厂家通用设备；机架及KVM由集成商提供。
新增设备情况参见《附件1-模型设备清单》。
3、本次查勘需反馈表格
本次查勘需参考附件情况如下：
Ø机架数量、尺寸、供电类型、功耗、电源端子需求等情况参见《附件4-模型设备装架图》。
Ø设备详细配置情况参见《附件1-模型设备清单》及《附件2-模型配置调整表》。
Ø分工界面参见《附件3-分工界面》
Ø分流设备（含分光、TAP）情况参见《附件5-分光及TAP设备占地及功耗计算表》
Ø本次查勘联系人参见《附件6-查勘联系人》
Ø电缆连接情况请参看《附件7-线缆计划表》
本次查勘反馈内容如下：
Ø在《附件2-模型配置调整表》中补充填写局址信息、采集网元信息、分光/光放/TAP采购需求、设备调整情况；在《附件8-查勘情况反馈表》中填写“本期新增分流设备供电类型”和“采集机房供电类型”、“数据合成服务器机房供电类型”等信息。
八、查勘提纲
1、GGSN/SAE-GW、SGSN/MME分站点：
1）机架安装局址和设备情况：
分站点名称
新增机架类型
新增机架数量（架）
机架规格
mm（W*D*H）
新增机架位置
机房走线方式
活动地方下沿距地面距离
走线架最低处高
GGSN/SAE-GWXX分站点1
采集设备机架
2
600*1000*2200
C列03、04架
上走线
400m
2400m
分流设备机架
1
600*1000*2200
C列05架
GGSN/SAE-GWXX分站点2
采集设备机架
2
600*1000*2200
A列03、04架
下走线
350mm
2350mm
SGSN/MMEXX分站点1
采集设备机架
2
600*1000*2200
C列03、04架
上走线
400m
2400m
分流设备机架
1
600*1000*2200
C列05架
SGSN/MMEXX分站点2
采集设备机架
2
600*1000*2200
A列03、04架
下走线
350mm
2350mm
注：
本期工程集成商新增机架尺寸全部配置为600*1000*2200（W*D*H）。
●本工程分站点新增分流汇聚设备、采集解析设备为集成商自产设备，分光/TAP设备、局域网交换机和防火墙为第三方厂家通用设备，集成商负责软件调测及系统集成，新增设备详细配置参见《附件1-模型设备清单》及《附件2-模型配置调整表》，新增机柜情况参见《附件4-设备装架图》。
本期工程新增分流汇聚设备、采集解析设备、局域网交换机和防火墙均安装在分站点采集设备机架内，新增分光/TAP设备安装在分光设备机架内。
分光/TAP设备机柜（含电源及线缆）需要配套购买。
SGSN/MME或GGSN/SAE-GW
分光/光放/TAP
分流汇聚设备
采集解析设备
网络交换机
防火墙
1
2
原链路CE/ODF
3
4
5
6
8
中心站方向
CMNET接入设备
专线接入设备
7
2）通信电缆连接及走线路由
注：
1、虚线内设备在同一或邻近的机架内
2、防火墙（仅在采用CMNET方式连接的省份配置）。
需查勘的通信线缆对应上图为：
1、被采集设备至分光/光放/TAP设备；
2、分流设备至CE/ODF（回原链路）；
3、分光/光放/TAP设备至流量汇聚设备；
4、流量汇聚设备至采集解析设备；
5、采集解析设备至网络交换机；
6、网络交换机至防火墙；
7、网络交换机至专线接入设备；（注明对端设备端口号）
8、防火墙至CMNET接入设备。
（注明对端设备端口号）
对应上述通信电缆连接图完成《附件7-线缆计划表》中分站点通信线缆连接部分。
新增硬件设备机架内摆放位置参见《附件4-设备装架图》。
3）电力电缆连接及走线路由
本期工程设备为220V交流供电/-48直流供电，新增电源功耗和占用机房交流屏端子数量需求如下表：
分站点
新增机架编号
新增电源
功耗（W）
供电
端子
电缆+地线
占用UPS
编号
占用
端子
编号
电缆
类型
数量
单根
长度（M）
XX分站点1
1
2180
2*32A
2+1
20
17套A路
第三排8、9号端子
2
XX分站点2
1
新增机架供电需求详见《附件4-设备装架图》。
根据查勘情况完成《附件7-线缆计划表》中电力电缆连接部分并提供分站点配电屏面板及占用示意图。
2、SCA分站点
统一DPI工程将在各省集中设置的1套Uu口、X2接口采集解析设备，就近安装在SCA设备所在机房。
1）机架安装局址和设备情况：
分站点名称
新增机架类型
新增机架数量（架）
机架规格
mm（W*D*H）
新增机架位置
机房走线方式
活动地方下沿距地面距离
走线架最低处高
SCA分站点
采集设备机架
2
600*1000*2200
A列03、04架
下走线
350mm
2350mm
注：
本期工程集成商新增机架尺寸全部配置为600*1000*2200（W*D*H）。
●本工程分站点新增分流汇聚设备、采集解析设备为集成商自产设备，局域网交换机和防火墙为第三方厂家通用设备，集成商负责软件调测及系统集成，新增设备详细配置参见《附件1-模型设备清单》及《附件2-模型配置调整表》，新增机柜情况参见《附件4-设备装架图》。
1
2
3
4
6
注：
1、虚线内设备在同一或邻近的机架内
2、防火墙（仅在采用CMNET方式连接的省份配置）。
SCA
分流汇聚设备（根据集成商设备情况配置）
采集解析设备
网络交换机
防火墙
中心站方向
CMNET接入设备
专线接入设备
5
本期工程新增分流汇聚设备、采集解析设备、局域网交换机和防火墙均安装在分站点采集设备机架内。
2）通信电缆连接及走线路由
需查勘的通信线缆对应上图为：
1、SCA设备至分流汇聚设备；
2、分流汇聚设备至采集解析设备；
3、采集解析设备至网络交换机；
4、网络交换机至防火墙；
5、网络交换机至专线接入设备；（注明对端设备端口号）
6、防火墙至CMNET接入设备。
（注明对端设备端口号）
对应上述通信电缆连接图完成《附件7-线缆计划表》中分站点通信线缆连接部分。
新增硬件设备机架内摆放位置参见《附件4-设备装架图》。
3）电力电缆连接及走线路由
本期工程设备为220V交流供电/-48直流供电，新增电源功耗和占用机房交流屏端子数量需求如下表：
分站点
新增机架编号
新增电源
功耗（W）
供电
端子
电缆+地线
占用UPS
编号
占用
端子
编号
电缆
类型
数量
单根
长度（M）
SCA分站点
1
新增机架供电需求详见《附件4-设备装架图》。
根据查勘情况完成《附件7-线缆计划表》中电力电缆连接部分并提供分站点配电屏面板及占用示意图。
3、数据合成服务器中心站
1）机架安装局址和设备情况：
省市
局址
集成商
新增机架
设备机架规格
mm（W*D*H）
1
XX枢纽楼X层XX机房
爱立信
3
600*1000*2200
注：
本期工程集成商新增机架尺寸全部配置为600*1000*2200（W*D*H）。
（1）机房走线方式上走线，活动地板下沿距地面400mm，走线架最低处高2410mm。
（2）新增机架装机位置C列03、04架。
本工程数据合成服务器中心站新增硬件全部采用第三方硬件厂商设备，集成商负责软件调测及系统集成，详细设备配置参见《附件1-模型设备清单》及《附件2-模型配置调整表》，新增机柜情况参见《附件4-设备装架图》。
。
2）通信电缆连接及走线路由
PCserver
网络交换机
防火墙
分站点方向
CMNET接入设备
专线接入设备
2
3
手机恶意软件监控系统DA方向
1
需查勘通信线缆对应上图为：
1、网络交换机至手机恶意软件监控系统（北京、江苏、陕西、广东）；
2、网络交换机至专线接入设备（注明对端设备端口号）；
3、防火墙至CMNET接入设备。
（注明对端设备端口号）
对应上述通信电缆连接图完成《附件7-线缆计划表》中心站通信线缆部分。
3）电力电缆连接及走线路由
本期工程设备为220V交流供电/-48直流供电，新增电源功耗和占用机房交流屏端子数量需求如下表：
省市
机架编号
新增电源
功耗（W）
供电
端子
交流电缆+地线
占用UPS
编号
占用
端子
编号
电缆
类型
数量
单根
长度（M）
XX
1
2180
2*32A
2+1
20
17套A路
第三排8、9号端子
2
2550
2*32A
2+1
20
17套A路
第三排10、11号端子
新增机架供电需求详见《附件4-设备装架图》。
（1）机房电源容量是/否满足需求。
（2）新增机架接地方式UPS柜内接地/机房内地线排。
根据查勘情况完成《附件7-线缆计划表》电力电缆部分并提供数据合成服务器中心站配电屏面板及占用示意图。
3、图纸要求
设备位置：
标明新增机架安装位置、利旧机架位置、出线机架、对端网络接入机架位置和端口占用情况、新增机架供电所使用配电屏位置和端子占用情况。
走线：
标明信号电缆、电力电缆及地线类型及走线路由。
4、本工程配套
本工程第三方硬件、分流设备（包括分光、TA
升级会员 