基于海量平台大数据挖掘系统项目概要设计.docx
《基于海量平台大数据挖掘系统项目概要设计.docx》由会员分享，可在线阅读，更多相关《基于海量平台大数据挖掘系统项目概要设计.docx（32页珍藏版）》请在冰点文库上搜索。
基于海量平台大数据挖掘系统项目概要设计
芸享库系统项目
概要设计
编制：
审核：
2016年8月15日
1.概述1
1.1.编写目的1
12术语与定义1
2.标准和规范2
3.系统总体框架2
3.1.项目概览2
32总体设计原则3
3.3.总体技术路线4
3.1.架构遵从4
4.业务描述7
4.1.业务目标7
4.2.业务功能8
5.系统功能规格16
5.1.在线计算错误！
未定义书签。
5.2.异动监测错误！
未定义书签。
6.系统集成视图错误！
未定义书签。
6.1.总体集成错误！
未定义书签。
6.2.集成场景错误！
未定义书签。
6.3.集成设计错误！
未定义书签。
7.系统物理部署视图18
7.1.部署拓扑18
7.2.容量规划18
7.3.硬件环境设计19
7.4.软件环境设计20
8.灾备环境设计20
9.系统安全视图21
1.概述
1.1.编写目的
芸享库系统是对专业文档资源进行在线集中管理和分享的系统。
文库系统专项设计是在系统原型已经部分形成的情况下，在针对企业特殊工作环境和效率抓取资源的迫切需求情况下，集合系统本身的业务需求，遵循公司信息化架构设计规范，对芸享库系统的资源数据整合方式和资源分享方式应用中涉及的关键技术进行的专项设计，为后续详细设计、开发、测试、实施等工作提供指导和依据。
12术语与定义
1.基于芸享库系统的资源数据管理模块支撑：
简称数据资源平台，是芸享库系统在云端
的资源采集和管理的重要组成部分。
该平台实现相关行业的技术，研究，经验等相关资源文档有效接入，建立统一的数据模型和视图仓库。
本平台旨在跨专业的综合应用提供标准规范的历史/实时数据的云端共享服务。
2.基于芸享库系统的资源数据分享模块支撑：
简称数据分享平台，视芸享库系统在云端
的资源分享的重要组成部分。
该平台合理利用互联网资源，实现为相关业务人士或者专业研究人士和机构提供资源抓取，为更快资源定位提供有效捷径。
本平台旨在合理管理用户资源，鼓励资源分享机制，进而进一步扩充数据资源。
达到资源在云端快速注册，快速查找，快速分享的一个一个良性循环。
2.标准和规范
芸享库系统工程实施时，必须严格执行国家制定的有关规范和标准
1.《中华人民共和国计算机信息系统安全保护条例》
2.《等级保护实施办法及规范》
3.
GB/T17859-199
）9《计算机信息系统安全保护等级划分准则》
4.
GB/T8566-88
《计算机软件开发规范》
5.
GB/T9385-88
《计算机软件需求说明编制指南》
6.
GB/T9386-88
《计算机软件测试文件编制规范》
7.
GB/T8567-88
《计算机软件产品开发文件编制指南》
8.
GB/T12504-90
《计算机软件质量保证计划规范》
9.
GB/T12505-90
《计算机软件配置管理计划规范》
10.
GB/T14394-93
《计算机软件可靠性和可维护性管理》
11.
GB/T14079-93
《软件维护指南》
12.
GB/T8566-1995
）《信息技术软件生存期过程》
13.GB/T15853-1995《软件支持环境》
3.系统总体框架
3.1.项目概览
32总体设计原则
本系统建设将遵循以下原则：
经济性原则
项目设计过程中，将充分利用现有设备、网络等设施类环境资源；最大限度依托并
整合现有技术应用、数据信息等资源体系；在可用性的前提条件下充分保证系统建设的经济性，提供投资效率，避免重复建设。
确保系统具有友好用户界面、便于掌握、使用和维护，能解决具体的实际问题，并且在保证系统性能并达到要求的前提下，尽量使系统投资最省。
为了达到界面实用和统一，应坚决采取可定制的唯一界面访问系统的全部信息，减少用户前台的操作环节和应用系统的复杂性。
成熟性原则
本系统的设计应该尽量的采用经过市场证实的成熟的技术，减少技术风险。
提供的
软件产品将经过严格的测试，并可快速的为用户提供量身定制的二次开发。
可扩展性原则
为适应发展要求和系统自身建设需要，本系统的设计要充分考虑系统应用动态变化因素，通过现代信息技术的应用和规划设计，充分保障系统的可扩展性，以适应系统需求的变化，支持迭代开发。
先进性原则
立足先进技术，采用主流技术，在满足需求的基础上，使系统具有国内领先技术的水平。
开放性原则
采用的技术均为开放技术、利于移植，这样有利于保证服务质量。
易用性原则
系统在设计过程中要针对不同层面的使用者的应用水平，充分考虑系统的易用性,保障本系统建成后的应用与推广。
33总体技术路线
芸享库系统信息化项目的总体技术标准要求根据J2EE设计规范和面向对象进行规范设计。
Web层三层框架遵循MVC设计模式。
如下表所示：
2.表1总体技术路线
分类
选型原则
技术选型
界面展现技术：
HTMLJSP、Flex、JavaScript、Jquery
数据访问技术：
JDBC
部署模式
广域网集中部署
开发平台
采Eclipse4.2，DreamweaverCS6开发工具
中间件
采用jdk1.6版本
应用服务器
ApacheTomcate6.0、Apache2.0
数据库
Mysql5.5
操作系统
LinuxCentos6.5、AIX6.1
3.1.架构遵从
3.4.1.业务架构
三级业务功能
业务职能
系统架构：
四级业务功能
业务架构：
业务职能
遵从说明
细化
细化
细化
细化
业务流程
系统架构：
业务流程
业务架构：
业务流程（子流程）
遵从说明
无
无
无
业务域
业务职能
系统架构：
业务功能
业务架构：
业务职能
遵从说明
细化
细化
细化
业务流程
系统架构：
业务流程
业务架构：
业务流程（子流程）
遵从说明
无
无
无
342.应用架构
应用架构：
三级功能
应用架构：
应用
系统架构：
四级功能
应用架构：
一级应用功能
遵从说明
细化
细化
细化
细化
特殊情况处理
特殊情况处理
细化
应用架构：
三级功能
应用架构：
应用
系统架构：
四级功能
应用架构：
一级应用功能
遵从说明
3.4.3.数据架构
表3数据架构遵从对照
数据域
业务监控
数据主题
监测信息（电量）
系统架构：
数据实体
数据架构：
数据实体
遵从说明
96点发电量
在线计算信息
遵从
96点供电量
在线计算信息
细化
96点售电量
在线计算信息
细化
96点关口电量
在线计算信息
细化
344.技术架构
表4技术架构遵从对照
本系统名称
遵从说明
芸享库系统应用
细化
产品标准
系统架构：
软件产品
遵从说明
Windows
遵从
Linux
遵从
Apache2+tomcat6
遵从
WebLogic
遵从
Mysql5.5
遵从
JDK1.6
遵从
OSB
细化
SybaseIQ
细化
Hadoop,Hbase，hive，sqoop
参照
Tablue
参昭
八、、
Heritrix、WebMagic
参昭
八、、
4.业务描述
4.1.业务目标
1、资源数据管理模块
2、资源数据分享模块
42业务功能
4.2.1.资源数据管理模块
4.2.2.资源数据分享模块
4.2.3.前台网站模块
5.数据结构描述
5.1.功能介绍
编号
功能
描述
1
查询发电量信息
从地市调控中心电能量计量系统（TMR获取到非统调电厂每台发电机组机端计量电量，按照电厂和地市公司汇总两个层级进行汇总，得到当日每个电厂发电量和地市公司
管理电厂发电量。
2
查询供电量信息
根据“基于海量平台大数据挖掘系统”在线监测系统中建
立的多种组织层级供电量计算模型，从TMR中采集计量关
口电量，从用电信息采集系统中采集公变台区总表电量，计算地市供电公司、区县供电公司、供电所、公变台区四种层级的日、月、年供电量指标值，为在线监测供电量和后续“损”在线计算提供基础数据。
52数据模型
5.2.1.业务支撑数据模块
编号-名称
文库浏览记录
所属数据域
业务域
所属数据主题
明细数据
是否主数据
否
代码
DOCS_BROWRECORD
与其他实体关系
详见数据库概念模型
备注
1）文库浏览下载表
用户平日下载的文档记录在此表中保存
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
用户ID
USERID
VARCHAR
TS_USER（ID）
50
TRUE
文档ID
DOCID
VARCHAR
DOCS_DOCARCHIVE（ID）
50
TRUE
浏览ip
IP
VARCHAR
20
FALSE
浏览日期
VISITEDATETIME
DATETIME
FALSE
下载日期
DOWNDATETIME
DATETIME
FALSE
编号-名称
文库上传记录
所属数据域
业务域
所属数据主题
明细数据
是否主数据
否
代码
DOCS_DOCUPLOAD
与其他实体关系
详见数据库概念模型
备注
1）文库上传记录
用户平日上传的文档记录在此表中保存
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
用户ID
USERID
VARCHAR
TS_USER（ID）
50
TRUE
文档ID
DOCID
VARCHAR
DOCS_DOCARCHIVE（ID）
50
TRUE
上传ip
IP
VARCHAR
20
FALSE
上传文档文件名
UPDOCTITLE
VARCHAR
200
FALSE
上传时间
UPDATETIME
DATETIME
FALSE
编号-名称
文库文档档案
所属数据域
业务域
所属数据主题
明细数据
是否主数据
是
代码
DOCS_DOCARCHIVE
与其他实体关系
详见数据库概念模型
备注
1）文库文档资源档案明细
系统通过各种方式收集抓取的资源档案库
字段名称
字段代码
数据类型
关联关系
数据
长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
文档标题
TITLE
VARCHAR
200
FALSE
短标题
SHORTTITLE
VARCHAR
100
FALSE
文档类型ID
TYPEID
VARCHAR
DOCS_DOCTYPE（ID）
50
TRUE
文档存放路径
DOCURI
VARCHAR
200
FALSE
作者
AUTHOR
VARCHAR
100
FALSE
创建人
CREATEAUTHOR
VARCHAR
50
FALSE
创建日期
CREATEDATETIME
DATETIME
FALSE
编号-名称
文库文档类别
所属数据域
业务域
所属数据主题
明细数据
是否主数据
是
代码
DOCS_DOCTYPE
与其他实体关系
详见数据库概念模型
备注
1）文库文档类别
维护文库中不冋资源类别信息
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
类别名称
TITLE
VARCHAR
200
FALSE
类别描述
MEMO
VARCHAR
255
FALSE
列别排序
SORT
VARCHAR
50
FALSE
创建人
CREATEAUTHOR
VARCHAR
50
FALSE
创建日期
CREATEDATETIME
DATETIME
FALSE
编号-名称
文档扩展属性相关
所属数据域
业务域
所属数据主题
明细数据
是否主数据
否
代码
DOCS_DOCATTRIBUTE
与其他实体关系
详见数据库概念模型
备注
1）文档资源与用户的交互属性
维护文档资源与用户的交互属性，直接或间接与前台网站进行交互。
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
文档ID
DOCID
VARCHAR
DOCS_DOCARCHIVE（ID）
50
TRUE
操作用户
USERID
VARCHAR
TS_USER（ID）
50
TRUE
评价总值
RATED
DECIMAL
10
2
FALSE
评价次数
RATEDNUM
INT
11
FALSE
文档推荐数
COMMEND
DECIMAL
10
FALSE
访问/更新日期
UDDATETIME
DATETIME
FALSE
操作用户IP
USERIP
VARCHAR
20
FALSE
编号-名称
系统日志
所属数据域
业务域
所属数据主题
明细数据
是否主数据
主
代码
TS_DATELOG
与其他实体关系
详见数据库概念模型
备注
1）系统应用日志记录
记录用户操作系统应用时产生的系统日志，方便管理员查看维护。
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
用户ID
USERID
VARCHAR
TS_USER（ID）
50
TRUE
用户IP
USERIP
VARCHAR
20
FALSE
日志内容
LOG
VARCHAR
250
FALSE
创建者
CREATEAUTHOR
VARCHAR
11
FALSE
创建日期
CREATEDATETIME
DATETIME
10
FALSE
编号-名称
网站配置属性列表
所属数据域
业务域
所属数据主题
明细数据
是否主数据
主
代码
NET_PROPERTIES
与其他实体关系
详见数据库概念模型
备注
1）网站属性配置记录
记录网站相关开关属性配置信息。
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
登录错误限制次数
ERRLOGINNUM
INT
FALSE
限制IP列表
CHKIPLIST
VARCHAR
500
FALSE
修改人
UPDAUTHOR
VARCHAR
TS_USER（ID）
50
TRUE
配置日期
UPDDATETIME
DATETIME
FALSE
5.2.2.系统支撑数据模块
编号-名称
用户/账户表
所属数据域
业务域
所属数据主题
明细数据
是否主数据
主
代码
TS_USER
与其他实体关系
详见数据库概念模型
备注
1）系统平台用户
存放系统管理员账号和会员账号信息。
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
用户编号
SN
VARCHAR
25
FALSE
用户名
USERNAME
VARCHAR
50
FALSE
密码
PASSWORD
VARCHAR
50
FALSE
上级领导ID
MANAGEID
VARCHAR
TS_USER（ID）
50
TRUE
人员ID
PERSONID
VARCHAR
TS_PERSON（ID）
50
TRUE
是否是系统管理员
（1:
是）
ISADMIN
INT
FALSE
删除状态：
1:
删除，
0,使用中
DELETED
SMALLINT
FALSE
登录次数
LOGINCOUNT
INT
FALSE
最后一次登录ip
LOGINIP
VARCHAR
20
FALSE
最后次登录时间
LOGINTIME
VARCHAR
20
FALSE
所属用户组
GROUPID
VARCHAR
50
FALSE
排序
SORTID
INT
FALSE
创建人
CREATEAUTHOR
VARCHAR
50
FALSE
创建日期
CREATEDATE
VARCHAR
50
FALSE
编号-名称
系统人员明细表
所属数据域
业务域
所属数据主题
明细数据
是否主数据
否
代码
TS_PERSON
与其他实体关系
详见数据库概念模型
备注
1）系统平台人员明细记录
存放系统平台所有人员明细档案信息。
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
员工编号
SN
VARCHAR
25
FALSE
员工姓名
PERNAME
VARCHAR
50
FALSE
性别（1:
男；
0:
女）
SEX
VARCHAR
5
FALSE
人员状态1:
入职；
2:
转正；3:
离职
PERSONSTATUS
SMALLINT
FALSE
人员所属机构
ORGID
VARCHAR
TS_ORGANIZATION
50
TRUE
邮件
EMAIL
VARCHAR
50
FALSE
电话
TEL
VARCHAR
50
FALSE
移动电话
MOBILE
VARCHAR
50
FALSE
地址
ADDRESS
VARCHAR
100
FALSE
职务
JOB
VARCHAR
100
FALSE
生日
BIRTHDAY
VARCHAR
40
FALSE
学历
EDULEVEL
VARCHAR
50
FALSE
QQ
QQ
VARCHAR
50
FALSE
删除状态（1:
删除）
DELETED
INT
FALSE
排序
SORTID
VARCHAR
4
FALSE
创建人
CREATEAUTHOR
VARCHAR
50
FALSE
创建日期
CREATEDATE
VARCHAR
50
FALSE
编号-名称
系统角色表
所属数据域
业务域
所属数据主题
明细数据
是否主数据
主
代码
TS_ACTORS
与其他实体关系
详见数据库概念模型
备注
1）系统用户角色表存放系统账号角色信息。
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
ID
VARCHAR
50
TRUE
系统id
SYSID
VARCHAR
50
FALSE
角色编号
SN
VARCHAR
20
FALSE
角色名称
ROLENAME
VARCHAR
100
FALSE
角色描述
DESCRIPTION
VARCHAR
200
FALSE
上级
PARENTID
VARCHAR
TS_ACTORS（ID）
50
TRUE
是否锁定；1:
锁定；
0:
启用
ISLUCK
INT
FALSE
排序
SORTID
INT
FALSE
创建人
CREATEAUTHOR
VARCHAR
100
FALSE
创建日期
CREATEDATE
VARCHAR
50
FALSE
编号-名称
系统账户角色关联
所属数据域
业务域
所属数据主题
明细数据
是否主数据
主
代码
TS_ACTORS_USER
与其他实体关系
详见数据库概念模型
备注
1）账户角色关联关系
建立系统账户和角色关联关系
字段名称
字段代码
数据类型
关联关系
数据长度
数据
精度
主键/外
键
账户ID
USERID
VARCHAR
TS_USER（ID）
50
TRUE
角色ID
ROLEID
VARCHAR
TS_ACTORS（ID）
50
TRUE
排序
SORTID
INT
FALSE
创建人
CREATEAUTHOR
VARCHAR
100
FALSE
创建日期
CREATEDATE
VARCHAR
50
FALSE
编号-名称
系统账户角色关联
所属数据域
业务域
所属数据主题
明细数据
是否主数据
主
代码
TS_ACTORS_USER
与其他实体关系
升级会员 