烟草行业系统软硬件平台建设项目技术方案.docx

1、烟草行业系统软硬件平台建设项目技术方案烟草行业系统软硬件平台建设项目技术方案第一章 项目概述一.1 项目背景中央经济工作会议指出，我国经济发展进入新常态，呈现“速度变化、结构优化、动力转换”三大特点，正在向形态更高级、分工更复杂、结构更合理的阶段演化。烟草行业在日趋激烈的竞争中正迎来前所未有的发展机遇期，同时也遭遇快速增长的瓶颈期，宏观经济形势及行业自身的特点决定了行业改革发展已进入一个新的阶段，从依靠“政策红利”、“制度红利”、“市场红利”的外延式发展逐渐转向释放“管理红利”的内涵式发展。今年是全面深化改革的关键之年，按照凌局长重要批示“整合兼容、互联互通、先进实用、改造升级”工作要求，公司

2、继续以行业信息化建设“大集成、大集中、大融合”为指引，结合国家局CT-155框架和全省信息化蓝图，注重信息化可持续发展。要与时俱进，积极响应互联网时代的要求，突出信息化行业的特点，积极打造行业领先的一体化、互联网化数字公司的目标。具体就是要为九大业务领域的战略重点服务，从时代性角度体现“互联网+”时代“消费者为王、数据驱动、跨界融合、万物互联”等特征。从而更加有计划有步骤地推进“行业楷模”发展战略在信息化条线的落实落地。一.2 项目建设目标本次项目建设的总体目标是：1，结合公司的实际情况，依据公司基础设施体系建设技术标准与安全规范的要求，建设支撑四大应用系统的系统软硬件平台，将基础设施资源全面

3、集成整合，建成后的系统软硬件平台（主要用于支撑人力资源，客户服务，面向零售户的全省统一移动门户，移动订货APP）将是公司基础设施系统软硬件平台的组成部分与扩展，为建设完整的公司“云计算平台”提供基础架构资源；2，探索“云”技术的全面落地应用，用云计算理念进行集成整合；3，奠定良好的应用和技术架构基础，逐步将信息化建设模式从“整车制造”向“部件组装”模式转变，将信息化治理模式由以业务部门为主导、信息部门作配合向业务部门提需求、信息部门负责技术实现、业务和信息部门有效配合、协同进行转变。一.3 项目主要内容本项目建设系统软硬件平台是公司基础设施系统软硬件平台的组成部分，主要支撑人力资源、客户服务、

4、面向零售户的全省统一移动门户、移动订货APP四大应用系统。对应着云计算参考架构的Iaas层和部分的Paas层，主要建设计算资源池（服务器系统，中间件系统）、存储资源池、应用系统数据保护等，并按照公司基础设施系统软硬件平台的技术要求统一部署。第二章 项目需求分析二.1 公司信息化基础设施现状分析公司已初步建立起公司基础设施系统软硬件平台，部署了数据中心、专卖系统，投资采购，安全运维等核心应用系统，推进了计算与存储资源整合、共享和管理，提高了资源的利用率，以及信息系统的负载能力和可靠性,同时也为打造公司完整的云计算平台打下坚实的基础。公司基础设施软硬件平台依据公司信息化“十二五”规划中基础设施体系

5、建设任务的要求，为实现信息化工作 “上水平，创一流”的信息化建设目标打下基础，其主要功能是：1、建立“基础设施即服务”的运行服务平台引入云计算技术，建立基础设施系统软硬件平台，集成整合计算、存储等设备资源，实现资源的动态分配和弹性扩展，提高基础设施资源利用率和应用系统的可靠性。2、逐步建立起面向服务的技术体系架构为实现信息一体化，将针对新建或升级改造的应用系统的技术架构进行严格管理，所有应用系统的技术架构将逐步过渡到面向服务的技术架构，并建立起服务组件的定义规范和管理规范，以及相应的信息化管理平台。公司基础设施系统软硬件平台架构图公司基础设施系统软硬件平台按由省公司机房和电信IDC两个数据中心

6、组成，两个数据中心间通过光纤联接。公司基础设施系统软硬件平台集中统一部署核心业务的数据库服务器、应用服务器、WEB服务器、负载均衡器、核心存储及数据保护设备等。省公司机房主要部署公司核心业务系统以及日常办公系统，电信IDC机房主要部署省级卷烟营销平台。计算资源池整合服务器资源，形成统一共享的“服务器计算资源池”，为各应用系统提供“集中共享、按需分配、动态平衡、随需扩展”的服务器环境，确保各应用系统硬件环境的可靠性、稳定性、可扩展性，充分利用现有服务器资源，节省未来服务器投资。存储资源池整合存储资源，形成统一共享的“存储资源池”，为各应用系统提供“集中共享、按需分配、动态平衡、随需扩展”的存储和

7、备份服务，确保各应用系统数据的安全性、稳定性、可扩展性。数据保护通过连续数据保护系统（CDP）以及备份系统保障了公司核心业务系统的数据安全，确保核心业务系统的不间断连续运行。外网访问区主要部署对外服务应用的WEB服务器、网站服务器、邮件服务器、DNS服务器等。银行外联区主要部署与国家局、工业公司相关应用的接口服务器，以及与银行、政府等部门的前置服务器等。小型机服务器集群：省公司机房的数据库服务器集群由7台IBM P740(16C,256G)小型机组成，数据集群部署了IBM DB2 Purescale以及HA高可用性软件，保障公司核心系统数据库系统的高效，可靠的提供数据服务。电信IDC机房的数据

8、库服务器集群由2台IBM P750(32C,1024G)小型机组成，部署了两个Oracle RAC数据库集群，保障公司省级卷烟营销平台系统核心数据库系统高效，可靠的提供数据服务。X86刀片服务器集群：省公司机房与电信IDC机房部署了X86刀片服务器，利用虚拟化软件组成了X86虚拟机资源池，X86资源池主要部署了公司核心业务系统的应用服务器集群，满足核心业务系统的需求。二.2 资源需求分析二.2.1 人力资源人力资源系统结合公司的组织结构特点及管控要求，围绕“岗、人、能、绩、薪”等人力资源管理要求，实现纵向权限清晰、功能模块一致、上下协同的人力资源信息化管理模式。人力资源系统省公司集中部署，满足

9、全省10000用户的使用，预计并发数为500，其中70%为数据查询操作，30%为数据增删操作。系统包括桌面端，移动端应用。系统应能满足用户访问应用的时效性要求，保证提供一致的、可预测的响应，平均延时应小于3秒。二.2.1.1 计算资源需求分析数据库服务器需求分析数据库服务器主机处理能力依据业界通用的TPC-C（TpmC值）指标来测算。TpmC=并发数*M2M3/（1-M1）M4（1+相关系统数互操作概率）按1000并发用户数测算，其中M1为CPU处理能力冗余，取50%；M2为联机事务处理所对应的tpmC值，一般好的系统M2值应该在5-20范围内，对工作处理的联机事务处理按照M2=15来进行估算

10、；M3指平均一分钟内的操作业务数，在数据库内采用M3=10；M4是预留未来应用系统扩展的参数，预计M4=2。在一个数据库上的操作往往会引起其它2个系统的业务操作，和至少2个数据库的处理操作，考虑50%的互操作可能，则可计算核心数据库服务器的处理能力需求为：500*15*10/（1-50%）*2*（1+450%）=900000tpmC应用服务器需求分析单个应用服务器虚拟机配置4cpu,32G以上内存。参考应用指标：1)系统初始化启动5秒；2)屏幕滚动/切换2秒；3)查询/更新一条记录3秒；4)复杂页面的查询10秒；对于500并发用户，单个应用虚拟机的负载量80%的并发数不建议大于50，则需要应用

11、服务器虚拟机数:500/50=10台，包括桌面端和移动端，则虚拟机数量为10台（4C,32G）。二.2.1.2 存储资源需求分析在项目建设中，功能点模块共计46个，需上传文件的模块按照20%估测为9个，单个模块单人文件容量估测为20MB，公司用户群体估测为10000人，系统使用时间估测为5年，文件每年增量10%，总容量估测为：46*20%*20*10000*1.1*5= 2898918 MB2.9T二.2.2 客户服务客户服务，以“服务创造价值”为理念，对客户经理的工作职责、作业流程及操作标准进行系统、全面的梳理和优化，并以“面向消费”和“供需匹配”为突破口，实现客户经理工作效率、效益、效果的

12、全面提升。全省集中部署，满足高并发查询:全省2千多名客户经理的高频度查询、统计及汇总；数据更新:满足短事务处理数据更新；低时延:部分操作在客户现场完成，满足低时延的客户操作；数据增长:涉及到消费信息采集，满足未来数据量增长速度；二.2.2.1 计算资源需求分析数据库服务器需求分析采用互联网架构思路，由商用中间件调整为采用开源系统平台软件Tomcat、MySQL等，实现应用和数据库的水平扩展来应对系统的大数据量和并发的压力。数据同步根据业务需求，分别采用MQ消息中间件异步准实时同步和ETL定时抽取两种方式。准实时同步数据：需实时同步基础数据变更后，写入MQ服务器，MQ服务器将消息推送到客户服务子

13、系统的基础组件，基础组件将消息解析并写入相应的数据库。数据库服务器需要5台2路10核CPU，128G内存，双万兆网卡，虚拟服务器。应用服务器需求分析客户服务应用部署在4台X86（12C，48G）虚拟化服务器上，通过中间件集群技术，实现应用资源的快速扩展和动态调配，为营销业务系统提供应用服务,应用集群既保障应用服务器的负载能力，也提供高可用性功能。WEB服务器需求分析WEB服务器使用2台X86（8C，16G）虚拟化服务器，部署http Server，为客户服务提供WEB服务。内外网请求都通过服务器负载均衡器进行动态请求分发，前端通过现有的安全防护设备实现应用层的安全防护。二.2.2.2 存储资源

14、需求分析客户服务存储两年内的业务和汇总分析数据，两年以上的数据（如交易明细、汇总等等）从数据中心通过服务的方式直接调用获取。参考省级卷烟营销子系统数据使用情况，客户服务数据库的数据存储空间为：持证零售户户数正常经营户户数业务库（二年）397775348691737G根据以上结果，业务库总的数据量为：737G，考虑到数据需要创建索引因此数据库在数据容量基础上乘1.5倍的系数，所以总的数据容量为1105.5G，考虑到读写分离，所以数据库数据总的存储空间需要2211G；数据库日志数据量为数据库数据量的20%，则数据库日志空间需要442.2G ；以上所有数据库空间为数据库所需的全部空间为2653.2G

15、。二.2.3 面向零售户的全省统一移动门户面向零售户的全省统一移动门户，借助互联网支付来提升营销能力、借助大数据提升专卖管理能力。提升卷烟营销服务模式，订货方式多元化，加强对零售户人员管理与服务。二.2.3.1 计算资源需求分析面向零售户的全省统一移动门户系统由移动应用、应用服务代理和移动平台三部分构成，其中应用服务代理部署在DMZ区，是移动平台的代理应用，起到与移动应用互联互通的纽带作用，移动应用部署在各种适配的移动终端上，移动平台和其他业务系统一样共同部署在基础服务平台上。系统拟需要： 需部署8台（8C，16G）虚拟服务器。二.2.3.2 存储资源需求分析面向零售户的全省统一移动门户主要面

16、为全省400000的零售用户提供移动门户服务，每个零售户静态数据(零售户基本信息以及照片)约为1MB，400000零售户共需要400GB，每个零售户的动态业务数据(业务信息公告，留言管理，信息发布等)约为1MB，400000零售户共需要400GB，文件每年增量10%，总容量估测为：2*400GB+0.1*2*400GB0.9T二.2.4 移动订货APP移动订货APP是面向零售户的全省统一移动订货系统，以公司新商盟网上订货系统为核心，依据公司移动应用开发集成标准规范，搭建面向零售户层面的移动订货系统。二.2.4.1 计算资源需求分析（16C） 移动订货APP系统代理服务器拟采用X86虚拟服务器，

17、为整个移动订货APP系统提供重要的服务器安全功能，面向零售户的统一卷烟移动订货APP。考虑到零售户移动订货APP的需求，拟考虑采用2台X86虚拟机（8C，16G）作为移动订货APP代理服务器。 移动订货APP中应用服务器采用X86虚拟服务器，保证高性能的处理能力以及计算资源的横向扩展能力。应用服务器采用双机方式部署，以充分保障可靠性、可用性以及灵活扩展性。应用服务器虚拟机台数为4*2=8台，预留2台虚拟服务器作为服务器冗余配置，共需10台虚拟机。应用服务器虚拟机配置为配置为（8C、16G内存、300G硬盘），满足业务系统对应用服务器的性能需求。二.2.4.2 存储资源需求分析移动订货APP系统

18、作为省级卷烟营销平台的订单采集渠道，存储资源参照省级卷烟营销平台测算基准，数据库的数据存储空间为：持证零售户户数正常经营户户数交易库业务库（三年）39777534869174G737G根据以上结果，交易库和业务库总的数据量为：（74+737）=811G，数据库日志数据量为数据库数据量的50%，则数据空间需要（74+737）*0.5=406G；以上所有数据库空间为数据库所需的全部空间为1217G。同时根据全备份要求需要预留1217G备份空间。移动订货APP为公司省级卷烟营销平台的子系统，移动订货APP存储空间与省级卷烟营销平台统一规划，随着省级卷烟营销平台全省十三地市上线，数据量增加，存储空间需

19、要扩容，因此在电信IDC机房存储资源池共需要扩容容量为7.5TB。二.3 数据保护需求分析二.3.1.1 CDP连续数据保护系统需求分析在省公司本地机房与电信IDC机房各部署了EMC recovepoint的CDP连续数据保护系统。目前省公司机房的部署CDP系统主要针对财务系统进行应用级数据保护，保护源数据在省公司机房的VMAX 10K 存储系统上，CDP数据保护目标端数据存储在省公司机房存储资源池中，已用本地CDP许可15TB的10TB。随着省公司机房各核心应用系统的上线，对数据安全的需求不断增加,需要增加对数据中心，人力资源系统，办公自动化系统，内管系统等应用级的数据保护，因此需要在CDP

20、系统本地许可15TB的基础上,增加本地许可5TB,相应省公司存储资源池扩容5TB。电信IDC机房部署CDP系统主要针对省级卷烟营销平台生产数据库进行应用级数据保护，已用本地CDP许可5.84TB，保护源数据在电信IDC机房的VNX存储系统上，CDP数据保护目标端数据存储在电信IDC机房VNX存储系统上。电信IDC机房部署CDP跨机房数据保护系统主要针对省级卷烟营销平台交易数据库进行应用级数据保护，已用跨机房异地CDP许可2.4TB，保护源数据在电信IDC机房的XtremIO存储系统上，CDP数据保护目标端数据存储在省公司机房VMAX 10K存储系统上。随着十三个地市的上线，数据量增加，需要在因

21、此需要在CDP系统本地许可6TB的基础上,增加本地许可9TB,跨机房许可6TB的基础上,增加许可9TB,相应省公司与电信IDC机房存储资源池各扩容2TB。二.3.1.2 备份需求分析公司使用EMC Networker备份软件，在应用主机上装Client端软件，然后通过san网络把数据传给media Server，再由media server写入EMC DD2500虚拟带库，完成备份过程。主要用于应用系统虚拟机以及数据库系统的数据备份，对一共136个启动的VM进行备份，一个月，每天全备，源数据容量为28.2TB,数据库系统数据容量约为6T。虚拟机系统与数据库系统需要备份的容量共约为34TB，因此

22、需要对电信IDC机房的EMC DD2500虚拟带库备份容量许可扩容，在原有采用消重后21TB有效备份容量的基础上，扩容至35TB有效备份容量。第三章 项目技术路线本项目将根据已建立的公司基础设施云计算平台的技术路线，结合本项目应用系统对资源的需求，利用平台可动态扩展的特点，对已有的基础设施云计算平台进行资源扩展，来满足人力资源系统、客户服务、面向零售户的全省统一移动门户、移动订货APP等应用系统对基础设施资源的要求。同时，本项目在扩展已有的基础设施云平台的基础上，还逐步引入最新的云计算技术，增强基础设施云平台功能、性能以及扩展能力，为实现整个公司信息化平台全面云化，建设公司私有云平台打下坚实的

23、基础。三.1 延续公司基础设施云计算平台建设思路公司云计算平台的总体层次划分如下图所示：已建立的基础设施云计算平台主要对应的是如上的基础设施平台服务层，为之上各层提供网络、存储、主机、数据库、中间件服务，以及未来的物联网感知服务。基础设施云计算平台采用云计算、虚拟化技术统一部署，打破传统的“竖井式”部署模式，集成整合计算、存储等设备资源，构建面向各种业务应用的统一的计算与存储平台，实现对计算与存储资源的统一划拨、灵活扩展和集中管控，提高基础设施资源利用率和应用系统的可靠性。已建立的基础设施云计算平台包括 “服务器云”、“存储云”、“数据库云”、“中间件云”，已初步建立起了一个“集中共享、按需分

24、配、动态平衡、随需扩展”的基础平台资源池。根据规划，人力资源系统、客户服务、面向零售户的全省统一移动门户、移动订货APP等应用系统所需的基础设施平台将不再单独建立，而是在原有的基础设施云计算平台扩展基础上进行统一规划，统一部署。扩展后的基础设施云计算平台将具有以下特点： 一个具有弹性的IT架构 符合公司信息化平台建设的技术规范以及安全要求 可以与前期建成的基础设施云计算平台无缝融合，资源共享 高可靠、高可用、高安全、高性能 易管理 节省投资三.2 公司基础设施云计算平台技术发展路线公司基础设施云计算平台主要依托云计算及虚拟化技术，对应着云计算参考架构的Iaas层和部分的Paas层，近年来随着云

25、计算及虚拟化技术的不断发展，公司基础设施云计算平台的建设未来也需要不断引入最新的云计算技术及方向，为实现整个公司信息化平台全面云化，建设完整的公司私有云平台打下坚实的基础。以下是规划中的公司基础设施云计算平台的几个技术发展路线。三.2.1 基础设施云计算平台由硬件定义向软件定义转型为了更好地适应基础设施平台对业务快速变化的需求，基础设施云计算平台未来的建设方向将由以硬件定义路线向软件定义路线转型。所谓软件定义，其核心要点便在于利用精心设计的模块化软件结构实现基础设施平台的灵活性和弹性。软件定义的基础设施云计算平台在基础架构的层面整体强调的是以服务为导向，在确保可靠安全的同时，在高度自动化操作、

26、运维、管理、流程、监控的前提下，尽可能满足不同的客户群体或应用体系对IT基础资源的差异化需求，尽量实现专属的定制化服务体系。而实现这一思路的最佳途径是利用细颗粒度的模块化基础架构软件，在通用的硬件体系上来动态的构建、管理、变更直至解构所提供的服务。利用软件的模式来完全自定义基础设施架构绝不只是将计算资源虚拟化后再分配出去这么简单。如上所示，实现计算资源的虚拟化仅仅是云计算发展的基础一步，在此之后如果不对基础设施云计算平台另外两大资源体系：存储和网络也采用虚拟化的方式进行资源重构性的处理，则后期随着业务的不断发展壮大，数据与访问的规模不断攀升，在服务需求愈发复杂和多样化的压力下，虚拟化的整体部署

27、的敏捷性势必会后两者的不灵活所拖累。因此在技术成熟的保障下，利用软件重定义的模式打破传统网络与存储的不灵活和高成本势必就要成为基础设施云计算平台后续发展的首要考虑因素。由于基础设施云计算平台三大基础资源的完全虚拟化后，传统意义上的架构安全和可用性也会随之而发生变化，为了能够紧密的配合灵活度大幅提升的基础资源，安全和可用性也要考虑如何利用软件定义的模式进行一定的转变。在利用云的优势来提高灵活性和降低成本。但尚未改变其使用物理安全基础架构来保护虚拟数据中心和网络的传统做法。物理安全设备严重限制了灵活性和扩展能力。它们不支持虚拟化，这导致在动态基础架构发生更改时极易出现不合规的情况。此外，对基于硬件

28、的解决方案的严重依赖迫使保留多种专用设备，其中每种都有自己的界面。缺乏通用管理界面使得保护虚拟数据中心安全的成本和复杂性进一步加剧。软件定义安全与合规性的解决方案可让虚拟化其安全基础架构并通过云本身的调配界面来管理这些基础架构，因而可以降低云安全保护的复杂性。 只有当上述几点完全实现后，才能认为基础设施云计算平台在基础支撑层面得到了妥善稳固的保障。三.2.2 利用软件定义存储的理念实现分布式存储解决方案随着IT虚拟化技术大量应用，虚拟化技术取得了迅猛发展，虚拟机应用给传统的集中式共享存储带来了很多挑战： 相比传统的物理服务器方式，单个存储系统承载了更多的业务，存储系统需要更强劲的性能来支撑；

29、采用共享存储方式部署虚拟机，单个卷上可能承载几十或上百的虚拟机，导致卷IO呈现更多的随机特征，对传统Cache技术提出挑战； 单个卷承载多个虚拟机业务，要求存储系统具备协调虚拟机访问竞争，保证对QoS要求高的虚拟机获取到资源实现性能目标； 单个卷上承载较多的虚拟机，需要卷具有很高的IO性能，对传统受限于固定硬盘的RAID技术提出挑战； 虚拟机的广泛使用，需要更加高效的技术来提高虚拟机的部署效率，加快新业务的上线时间。为了应对传统的集中式存储所带来的性能瓶颈和扩展瓶颈的问题，依据软件定义存储的理念，引入分布式存储的典型的分布式存储架构如下：针对大多数事务型IT应用而言，关注核心在于信息数据的“即

30、时处理”而非“存储/归档”，因此存储向计算的融合再次符合业务应用的根本诉求。通过引入Scale Out存储机制，可实现服务器集群环境下，DAS直连硬盘的资源池化和虚拟化，推动计算与存储从“物理分离”架构向 “物理”融合与“逻辑”分离相结合架构的演进，实现以大一统融合架构形态实现对典型企业IT应用整合及性价比最优化支撑。分布式存储系统具备如下优势： 分布式架构。采用全分布式的架构：分布式管理集群，分布式哈希数据路由算法，分布式无状态机头、分布式智能Cache等，这种架构使得整个存储系统没有单点故障。 高性能和高可靠性。所有磁盘中实现负载的均衡，数据打散存放，不会出现热点，高效的路由算法和分布式C

31、ache技术保证了高性能。支持多个数据副本，每个副本分配在不同服务器/不同磁盘上，单个硬件设备的故障不影响业务。同时采用强一致性复制技术确保各个数据副本的一致性。 并行快速故障重建。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，重建效率高。 易扩展和超大容量。分布式无状态机头可横向扩展，存储与计算同步平滑扩容，支持非烟囱式超大容量扩展。 计算存储深度融合。存储软件系统部署在挂载本地硬盘的服务器上，把各服务器的本地硬盘组织成一个虚拟的资源池，替代外置的存储设备，天然支持计算和存储设备的高度融合。三.2.3 建设能力开放平台为基础设施云计算平台向全云化发展打下基础在云计算、大

32、数据技术成熟的今天，硬件的去IOE化,全面X86化已成为一种不可逆趋势。新建系统底层基础设施全部x86化部署，因此要求支撑系统必须适应技术路线的发展要求，具备较强的分布式处理能力及弹性伸缩能力。建设中的公司基础设施云计算平台还包括PaaS层中的数据库、中间件系统等，建设能力开放平台能有效的满足数据库系统、中间件系统适应云化的发展，为建设完整的公司私有云平台打下坚实的基础。能力开放平台是一个“聚合、共享、开放”的集成管理平台，是面向分布式、云化架构的能力集成管控平台；定位于能力开放的出入口，为内、外部服务调用提供支撑和管控，同时为业务能力层、核心能力层提供最基本的技术服务，为各类服务提供一个统一的运行承载平台和资源管理平台。能力开放平台具备