港航数据中心建设项目需求方案.docx

港航数据中心建设项目需求方案.docx

《港航数据中心建设项目需求方案.docx》由会员分享，可在线阅读，更多相关《港航数据中心建设项目需求方案.docx（16页珍藏版）》请在冰点文库上搜索。

港航数据中心建设项目需求方案

港航数据中心建设（一期）项目需求方案

一．项目简介

1.项目背景概括

地处珠江三角洲中心位置的广州港是华南地区最大的沿海主枢纽港和能源、原材料的重要中转港，同时亦是华南地区最大的对外贸易口岸。

经过多年的建设，广州港已位居世界十大港口，中国第三大港。

广州港务局是广州市政府确定行使对港政、水路运输行业和广州港航道管理职能的正厅级事业单位，于2004年2月26日正式挂牌成立。

广州港务局机关设办公室，政策法规处，规划建设处、科技信息处（合署办公），港务监督管理处，航务监督管理处，航道管理处，计划财务处，安全监督保卫处、武装部（合署办公），政治处（纪委办公室、监察室、机关党委办公室与其合署办公）等9个处室和离退休干部管理处。

下设海港分局、黄埔分局、内港分局、番禺分局、五和分局、新塘分局等6个处级派出机构。

有广州港引航站、广州港通讯调度指挥中心、广州港建设工程质量监督站、广州市船舶交易管理所、广州港务局教育培训中心等5个直属单位。

广州港务局对广州市辖区236家水路运输、水路运输服务企业和跨行政区域的广州港区内380家港口码头企业，以及船舶交易实施管理，并为相关管理相对人及有关行业提供服务。

随着广州港的快速发展，尤其是《珠江三角洲地区改革发展规划纲要》提出“推进白云空港、宝安空港、广州港、深圳港等一批枢纽型现代物流园区建设，完善与现代物流业相匹配的基础设施，带动广东建设世界一流的物流中心。

建设以珠江三角洲地区为中心的南方物流信息交换中枢，进一步确立珠江三角洲地区的国际电子商务中心地位。

”广州港务局作为广州港的行业主管部门，亟需在港航数据中心的建设和对外提供港口信息服务能力方面进行加强，通过信息系统的建设最终实现将各业务系统中信息孤岛上的数据集成到一起，实现数据的统一存储、分析、处理、传递，进而挖掘出有用的决策支持信息。

为上层应用系统以及交通运输部、省、和市等数据中心提供数据支撑，同时能为各部门乃至今后为港航企业及社会各类用户的港航生产经营、行业指导以及宏观经济管理和研究提供可靠的、科学的参考依据。

2.信息化建设现状　　

广州港务局2004年2月正式挂牌，按照原广州港务局政企分开的资产划分原则，船舶通信调度指挥中心的信息化建设基础设施、港航数据交换平台EDI设施都划留给新成立的广州港集团有限公司，作为企业信息化建设的基础。

2004年开始，尤其2006年实施广州港信息化“十一五”规划以来，新组建的广州港务局通过各种渠道筹集资金进行信息化建设，经过几年的努力，信息化建设取得了一定成绩。

在硬件设施及基础网络方面，主要完成了广州港务局办公大楼中心机房、广州港通讯调度中心和17楼会议室大屏幕投影拼接墙显示系统建设；构建了完全覆盖局机关及派出机构和下属单位的局域网络系统；搭建了广州港港区甚高频语音通讯系统及其微波和光纤双链路专网，以及调度中心船舶调度监控AIS接收基站；采购了网络安全系统和移动短信平台。

在业务应用系统软件方面，为了实现内部日常管理规范和提高公文流转效率，建设了广州港务局办公自动化系统；采用GIS（地理信息系统）技术开发了广州港港口空间地理信息系统；以广州港危险货物事故应急预案为基础，综合利用数据采集、图像处理等技术，建设了广州港危险货物作业监管系统；为加强行业管理，提高对外服务质量和水平，开发建设了广州港港航行政业务管理系统，并根据广东省交通运输厅部署，推广应用了广东省港口管理信息系统、广东省港航行政管理综合业务系统等办公业务应用系统。

主要相关数据既有码头及岸线、水域、锚地、航道等港口空间数据信息，又有港口经营管理、水路运输经营管理、港口和航运安全管理等业务数据。

3.存在的主要问题

广州港务局在多年的信息化建设中，港航业务管理系统的全面应用与推广，提高了港航业务的日常管理效率，固化和规范了工作流程，但一些问题也逐渐地显现出来，迫切需要得到解决，主要体现在以下几方面：

系统存在数据分离的情况，很难获取整合后的综合信息

缺乏统一规范的港航行业及相关数据标准编码体系

原有的管理系统在大批量数据统计和分析上存在性能瓶颈

上级主管部门、同级职能单位的数据需求经常变化

主管领导及各业务处室对数据的需求经常变化

公众对政务信息公开要求不断提高，港航行业数据信息服务质量有待加强

二.项目建设目标

建设广州港航数据中心一期，重点以国际、国家、交通运输部及省市相关标准为依据，建设广州港航及其相关数据标准规范，主要包括港务、海关、边检、商检、海事、通讯调度、船舶引航等行业相关职能部门和单位，以及码头企业、堆场企业、航运企业、货主、拖轮公司、供水、供油、船代、货代等与港口航运相关联企业信息数据，初步建立面向业务主题的数据仓库，集中存储局各业务系统的所有共享数据，提供统一的数据存储服务，初步实现局内信息系统数据资源的整合和基本数据信息的图表展示；实现作业信息与查验单位信息以及口岸物流信息的全面对接互动，提高港口服务水平与竞争能力，同时要求本项目必须制定广州港务局港航数据中心平台建设整体建设方案以及分期实施策略，以便在数据中心一期基础上进行远期拓展提供目标及方案。

数据标准梳理

数据标准是数据中心系统建设的重要组成部分和建设内容。

建立数据标准规范体系即建立数据中心的信息资源体系，包括：

基本指标体系、公共代码体系，可以有效的提高和促进数据整合的效率，促进数据分析应用，促进数据分析的准确性。

数据抽取、转换和加载建设

由于业务数据分散，技术标准不统一，故数据质量、数据范围、统一程度、存储标准、业务口径都有可能存在一定的差距以及不对称性，需要在数据处理的过程中重点对数据质量、业务口径等方面进行全面的统一及核准，保证数据中心系统的数据质量。

另外，数据抽取的时候还需要考虑外部数据的整合，比如Excel或文本数据。

所以，数据抽取、转换和加载建设将会是一个比较复杂而精细的工作，同时也是数据中心系统能够圆满开发完成的基础。

港航数据中心模型建设

搭建完整的、可扩展港航数据中心模型，数据中心模型必须涵盖港务局现有数据资源，并能满足广州港中近期信息化规划（2011-2010年）数据需求拓展功能。

数据中心模型的设计需要从业务概念模型、逻辑数据模型、物理数据模型和应用集市模型四个层面来设计。

分析决策系统建设

建设数据集市，开发综合查询平台或部署专业商业智能系统，为业务人员提供包括报表、查询、在线分析和知识发现在内的数据分析应用能力，实现港航信息的快速查询、统计分析、预警监控、决策支持等不同需求的信息服务，满足交通运输部、市领导、局领导、局外单位、业务处室、社会公众等不同需求用户的信息要求。

信息交换服务建设

港航数据中心系统的建设，不仅实现局内信息共享，促进业务协同，本期同时需要实现与交通运输部、广东省交通运输厅、广州市机关信息网络中心等共享，未来实现与其他政府职能部门或港航相关行业的横向数据交换与协同。

数据空间分析系统建设

结合报表工具、GIS等技术手段，依托数据中心平台和GIS，实现对港航信息的快速查询、信息浏览、物理定位、统计分析。

主要指标包括但不限于：

广州港口货物吞吐量、广州港危险货物作业情况、广州地区水路货物运输量、广州地区水路旅客运输情况、广州港码头泊位情况、广州港出海航道情况等。

三.项目采购范围

1．项目采购要求

硬件采购要求

编号

设备名称

配置要求

数量

1

PC服务器

★配置相当于IntelXeonX5660六核12MB（L3cache）/1333MHz/（1/2）；

16G内存；

5个146GB10KRPMSAS"热插拔硬盘。

2台

2

磁盘阵列

双FC和ISCSI控制器，当前配置≥4GB缓存/每控制器；主机通道≥4个FC端口和4个ISCSI端口；

当前配置8块450GB/15K热插拨硬盘。

1台

3

光纤交换机

4Gb，24端口交换机，8端口激活，8个4Gb/s短波SFP；

配置相当于Webtools、Zoning、EGM软件授权，可按需扩展到16或24个通讯端口。

2台

ETL采购要求

ETL是数据抽取、转换和加载的简称，实现数据中心数据整合。

采购的ETL工具必须满足：

是市场主流的ETL工具；

★采用高性能的数据抽取接口，比如：

专用数据库驱动接口、JDBC、ODBC接口等；

★支持UNIX、WindowsNT/2000/2003、Linux多种操作系统；

★ETL过程必须有图形化的开发、管理和监控界面；

支持业界主流数据库软件平台；

支持电子表格、文本格式等外部数据的导入；

ETL处理过程支持各种字符集的转换；

ETL处理过程具有完整的日志管理功能、完善的数据审计功能；

提供灵活的软件框架系统及适应性；

提供多种开发工具接口，支持用户定制能力；

提供数据抽取、转换、装载性能优化技术；

能够及时、自动地进行数据抽取、转换、清洗、装载工作并提供丰富的监控功能；

提供功能丰富的系统内置转换函数，能够满足用户的数据转换要求；

提供集成化的模型设计、ETL和强大的元数据管理能力，提供统一的元数据管理功能，需要支持抽取、转换、清洗、加载全过程元数据管理；

提供批量的数据处理功能；

提供信息采集相关制度和要求；

具备ETL调度功能，ETL过程具有完整的日志管理和数据审计功能，并且有相关的监控预警机制，保证ETL正常进行；

具备良好的易管理性，能够提供基于WEB方式的并可集成在整个数据中心环境统一的管理界面；

允许在清洗中调用已有的存储过程；

维护成本低，易于管理和编辑。

系统方案设计及开发

1.3.1数据中心平台总体建设方案及实施策略编制

结合广州港务局信息化现状及业务发展需求，提出数据中心平台总体建设方案和分步实施策略，要求总体方案设计全面、先进、合理、可行，采用的技术成熟、可靠，总体方案包含数据架构、ETL架构、数据模型架构、系统扩展架构、系统管理设计等内容。

制定的分步实施策略必须符合数据中心建设客观规律，切合广州港务局现有业务及未来发展实际需求。

1.3.2数据标准建设

数据标准是数据中心建设的先决条件，建立统一的港航数据标准规范，可以确保数据口径一致、统计分析结果正确。

广州港务局数据标准的建设不仅包括要定义出一套全局都必需要遵照的在业务和信息技术层面的数据标准，还要将这套数据标准的定义真正地执行、落实到广州港务局的各系统中，并为广州港务局制定全面的数据标准管理流程和今后的管控、维护提供依据。

在数据标准规划、制定和执行的各阶段，逐步体现数据标准对各应用系统的指导作用，促成全局系统集成和信息共享，实现其业务价值和收益，打好基础性工作，对业务发展起前瞻性的作用。

数据标准的规划、定义和实施是一个复杂、持续、渐进的过程，周期较长，需要根据业务的优先级设定进行分阶段的实施和不断完善。

本期数据标准建设主要是：

遵循港航管理领域的国际、国家编码标准，完成广州港航及其相关行业数据资源整理和数据标准设计，制定详细的数据标准实施路线图、建立全面的数据标准框架、重要主题的统一业务定义、完善数据标准管理流程、数据标准执行建议和数据标准管理工具建设，重点涵盖港口、航道、船舶、水路运输、港口安全、航运安全、港口服务、水路运输服务等领域，包括主题数据数据标准、公共编码数据标准等。

本期数据标准建设需提交《数据标准建设管理计划》、《基础数据标准定义》、《基础数据标准重要公共代码定义》、《广州港务局数据标准详细数据映射》、《数据标准改进和执行建议报告》、《数据标准管理流程》、《数据标准管理工具》、《管理工具功能需求分析书》、《管理工具系统功能设计说明书》、《管理工具应用测试报告》、《管理工具运行维护手册》、《管理工具用户使用手册》、《培训计划》、《管理工具维护报告》等成果。

数据标准管理工具。

开发支持数据标准的维护和管理平台，支持未来的标准管理工作。

数据标准管理工具面向标准实施对象，作为数据标准化小组成员使用的工具，主要满足负责审查、批准、管理数据元素等重要角色的数据标准化人员，以及负责提供数据元素原始资料、草案，利用数据元素库中数据进行系统设计和开发的数据元素开发者和使用者。

数据标准管理工具需提供原始数据提交，标准数据发布，以及筛选、查询、排序，数据元属性填写、验证和审批流程等功能，便于数据标准的维护，本期以实现信息发布和浏览功能为主。

请阐述数据标准建设的实施方案。

要求根据数据标准建设客观规律，提出科学合理的广州港航数据标准建设实施方案，并通过后期需求调研分析，建立完整的数据标准框架，统一数据业务含义的定义和技术实现的标准，实现数据定义、数据所有权、数据安全、数据生命周期、数据质量等的标准化；对核心业务数据从具体的定义、取值、计算方法、数据来源到产生、责任部门、安全级别等进行详细的定义说明，明确和界定数据的管理标准，为下一步定义报表数据的来源和计算方法奠定基础。

1.3.2数据整合

由于业务数据分散，技术标准不统一，故数据质量、数据范围、统一程度、存储标准、业务口径都有可能存在一定的差距以及不对称性。

所以，数据整合需要在数据处理的过程中重点对数据质量、业务口径等方面进行全面的统一及核准，保证整个数据中心平台服务的数据质量。

主要包括但不限于：

数据采集、数据目录、代码对照、数据质量、数据处理等内容。

主要数据来源于目前广州港务局现有或使用广州港港口空间地理信息系统、广州港务局办公自动化系统、广州港危险货物作业监管系统、广州港引航排班系统、广州港港航行政业务管理系统、广州港引航调度业务管理信息系统（整合AIS船舶自动识别系统）、广州港统计网络报送系统、广东省港航行政管理综合业务系统（省交通运输厅开发，集中部署）、广东省港口管理信息系统（省交通运输厅开发，集中部署）等信息系统。

数据采集：

完成对各种业务数据的收集工作，主要是对广州港航已有系统的数据进行采集和接入，也包含部分外单位数据和手工采集填报的数据，

数据目录：

为了更好地管理现有各种业务系统，使系统管理员更好地了解各种业务系统的数据库类型、表、字段、字段属性等。

同时也为系统历史变更提供查询。

数据目录系统建设需包含服务器和数据源查询、数据库信息、数据库表信息等。

代码对照：

由于本数据仓库数据来源众多，各业务系统具有业务范围广，使用单位不同，建设单位不同、实现技术不同、建设时间跨度大等特点，不同系统存在业务重叠，描述对象重叠等现象，系统业务对象的代码没有统一的标准，系统之间无法相互关联。

为了使各个业务系统数据能够互联互通，必须在建设数据中心之前完成代码对照及其维护工作。

数据质量：

建立数据质量规范、明确清洗规则、减少问题数据。

针对目前在多个业务系统中存在基础数据缺失、错误、重复、不一致的现象，需要建立各数据项的质量规范，并根据各业务系统的数据库现状，明确清洗规则。

数据质量规范、数据质量处理、数据质量维护等。

数据处理：

包括数据转换、数据清洗和数据加载。

数据转换将不同业务数据按照转换规则转换成所需要的数据，数据清洗将不需要的数据进行过滤和刷选；数据加载将转换和清洗完毕的数据加载到数据仓库。

数据整合方案需结合广州港务局信息系统现状，提出完整的ETL方案，投标方案需具体说明以下几点：

阐述ETL的总体设计思路，总体架构；

阐述ETL数据区划分、ETL过程划分、ETL流程划分、ETL作业设计、ETL调度设计、ETL监控设计、ETL关键设计处理方案；

阐述在ETL的整个过程中异常情况的处理和回退机制、数据质量的保证机制、问题数据处理流程。

阐述ETL过程正确性的验证方法；

阐述常用的数据治理方法。

1.3.3数据建模

建设和开发符合港航行业的数据模型是建设成功的数据中心的基础，通过对各种数据源的了解，完善数据质量，达到可用数据范围的最大化。

结合具体港航业务，设计和实现数据中心概念模型、逻辑模型、物理模型和集市模型，确保设计的数据模型可以支撑未来的拓展需要。

数据建模的要求如下：

满足不同用户的需求、兼顾效率与数据粒度的需要、支持需求的变化、避免对业务信息系统造成影响、考虑未来的可扩展性、高效性、完整性等。

数据模型需在结构上分成基础数据仓库模型和分析模型。

基础模型：

基础数据模型是本单位所有各种分析的基础和来源，通过对港航行业业务划分、管理对象的获取，建立一个粒度最细，范围最广，基于本单位的完全模块化的基础数据模型。

分析模型：

分析模型基于基础数据模型，来源于基础数据模型，但又不同于基础数据模型，本项目需要将基础数据模型和分析数据模型分离，能够达到模块化添加分析模型，为整个数据仓库系统实现跨业务，跨多种维度的分析。

要求中标人通过充分调研，充分考虑广州港航业的特殊性，在建模过程中除满足当前广州港务局业务需求外，必须结合广州港港航业特点，满足未来港航公共物流信息平台建设的数据扩展需求。

1.3.4综合查询平台及分析决策系统开发

结合广州港务局现有业务需求及未来发展需要，开发数据中心综合查询平台或部署专业商业智能系统。

将从海量数据中分析出能为港航布局规划和调整、其他各种港航及其相关行业决策所用的信息，主要包括航道、码头、航运、引航、调度、安全管理、货代、船代等。

数据分析利用现有的分析工具进行各种维度的自由分析，能够实现跨年、跨行业等多种维度的分析，同时实现从年到季度、月、日期，甚至时段的多个维度多种层次分析。

1.3.4.1综合查询平台的功能架构

1.3.4.2综合查询平台的功能要求

综合查询平台功能主要包括：

关系型查询、多维分析、公共功能、系统管理和外部接口等功能。

根据业务应用需求，建立各种统计分析报表，并进行可视化展示，提供良好的操作界面，同时基于GIS引擎进行各类分析统计功能开发。

报表模块的实现主要任务是：

（1）报表实现指标选择

港航管理报表分为驾驶仓仪表盘类报表、统计分析类报表、模式挖掘类报表。

报表的实现首先需要确定所要实现的报表类型。

然后确定要在该张报表中所要实现的指标。

（2）报表详细设计和实现

根据报表样式的初步设计，以及用户的具体访问需求，为报表模块选择整体的风格和色彩体系，为每张报表选择适合的展现方式。

（3）报表测试

对报表的有效性、展示效果和运行效率进行测试。

（4）报表部署

在报表通过测试之后，根据用户对报表的访问需求进行部署和管理。

要求中标人完成业务报表系统的设计、构建及优化。

关系型查询（又称“灵活查询”）

灵活查询提供简单易用的数据查询环境，方便、准确、完整地向各层面人员提供多层次的综合性信息。

灵活查询满足对经过语义层封装后的业务对象进行操作、建立各种查询。

经过语义层的封装后，根据业务需要，业务人员通过简单的界面拖拽操作、可以灵活地使用各种业务元数据，实现自助式、零编程、快速地定制可视化查询以实现各种数据处理逻辑。

满足用户自助式的定制查询和报表。

业务用户可以轻松的从数据库中访问、浏览和探察数据；满足业务人员定制查询。

同时，灵活查询应具备可视化的定制能力，满足所见即所得的用户体验需求。

多维查询

多维查询提供用户通过浏览器与多维服务器联结，可以快速、一致、交互地访问各种可能的信息视图，洞察数据深处，掌握隐于其中的规律。

多维查询可以帮助单位的决策人员、业务分析人员、数据分析人员完成各种多维分析需求，如：

在不同层次之间计算和建模；从不同角度切割数据集合进行分析；从宏观到微观，对数据进行深入分析；从微观到宏观，对数据进行汇总分析；查询底层细节数据；对不同数据集合进行基于多个角度的比较，且支持表格和图形两种方式展现。

多维查询应包含但不限于以下功能：

钻取（上钻和下钻）、切片、切块、旋转。

钻取：

钻取是改变维度的层次，变换分析的粒度。

钻取包括上钻和下钻，上钻是在某一维上将低层次的细节数据概括到高层次的汇总数据的过程，减少了分析的维数；下钻则是相反，它是将高层次的汇总数据进行细化，深入到低层次细节数据的过程，增加了分析的维数。

切片和切块：

在多维分析中，如果在某一维度上限定了一个值，则称为对原有分析的一个切片，如果对多个维度进行限定，每个维度限定为一组取值范围，则称为对原有分析的一个切块。

旋转：

在多维分析中，维度都是按某一顺序进行显示，如果变换维度的顺序和方向，或交换两个维度的位置，则称为旋转。

管理驾驶舱

管理驾驶舱是一个为管理层提供“一站式”决策支持的管理信息中心。

它以驾驶舱的形式，通过各种常见的图表（速度表、音量柱、预警雷达、雷达球）形象标示单位运行的关键指标（KPI），直观的监测运营情况，并可以对异常关键指标预警和挖掘分析。

管理驾驶舱从技术角度是基于详尽的指标体系，将采集的数据形象化、直观化、具体化，通过管理图形、仪表盘、预警等方式，监控、分析关键指标、业务目标，帮助单位的决策人员、业务分析人员了解全局的业务活动，管理驾驶舱也能够让用户以个性化的方式来监控KPI、衡量KPI，管理预警和异常。

因此，管理驾驶舱应具备以下特性：

1、直观性

进入管理驾驶舱页面就像进入汽车驾驶舱一样，展现在面前的将是各种各样的图形界面，这些图形所反映出来的是单位中各种监控指标的具体数据，满足管理者能更直观、全面地了解单位中所有指标的具体情况，从而方便快速地做出下一步决策。

2、可配置性

管理驾驶舱应可以灵活配置，根据用户习惯，选择合适的图形显示关注的具体指标，同时可实现一个图形反映多种指标，一种指标可由多个图形显示的交叉实现模式。

3、方便性

用户可把管理驾驶舱的个性化配置进行保存，以便下一次访问复用，体现让用户操作更方便的设计思想。

4、全面性

管理驾驶舱应充分考虑用户对图形展现数目的灵活设置需求，支持在图形上钻取功能，逐层挖掘分析，确保用户能更全面地对单位中的各项指标全面掌握。

5、多维性

管理驾驶舱应实现多用户、不同权限的不同操作，每个有权限的用户都能够配置适合自己的图形，从而支持让各管理人员都能查看自己所关心的分析指标，满足多用户、多权限、多图形、多指标的多维操作需求。

公共功能

公共功能主要包括：

调度管理、算法模块管理，告警管理、报表宏管理、参数管理、计划任务模块，语义层和元数据分析管理模块。

系统管理

系统管理功能主要包括：

数据源链接管理，业务主题管理，数据权限管理，用户管理模块，系统日志模块和会话管理模块。

系统接口

开发工具包SDK，提供API实现将查询、报表、分析、仪表盘、KPI等UI元素进行重新组合和布局。

通过对UI组件的个性化组合和二次开发，将表格、图形、参数、样式等元素真正融入到应用系统中。

综合查询平台或专业商业智能系统，必须支持与第三方用户管理系统集成，特别是更容易的与企业的统一登录系统进行集成。

请详细阐述上述综合查询平台功能的详细设计方案。

1.3.4.3分析决策系统

分析决策系统是为决策者提供分析问题、建立模型、模拟决策过程和方案的环境，调用各种信息资源和分析工具，帮助决策者提高决策水平和质量。

基于综合查询平台或专业商业智能系统，实现分析决策系统，为业务人员提供包括报表、查询、在线分析和知识发现在内的数据分析应用能力；

实现港航信息的快速查询、统计分析、预警监控、决策支持等应用，满足不同用户的数据应用要求。

分析决策系统将以各种表格、直观化的图表、图形化预警指示器、综合报告等形式展现，便于使用者更便捷地找到所需要的信息，并对预警做出及时地响应。

根据港航管理分析决策系统初步的需求以及前期的需求调研，构建的港航管理指标体系包含航道基本情况分析、港口货物吞吐量分析、旅客吞吐量分析、集装箱吞吐量分析、重点物资吞吐量分析、危货作业量分析、船舶运力分析、船舶引航作业分析、船舶调度分析、水路货物运输量分析、港航行业就业人员分析等分析主题，本期项目分析决策系统指标体系中共包含总量不超过50个主题、200张报表、90个KPI