数据资源管理平台.docx
《数据资源管理平台.docx》由会员分享，可在线阅读，更多相关《数据资源管理平台.docx（58页珍藏版）》请在冰点文库上搜索。
数据资源管理平台
1数据资源管理平台设计
1.1需求分析
1.1.1数据需求
1.1.1.1数据分析
XX省水资源管理系统业务涉及的信息资源包括信息采集和信息共享。
信息采集按获取方式应分为仪器自动在线监测和非在线监测两种采集范畴。
以共享方式获取的其他信息获取（包括水文、水资源保护部门负责采集的实时水雨情、水质监测数据），属于信息共享范畴。
信息采集传输应充分利用现代化科技成果，通过对信息采集和传输基础设施设备的改造和建设，配置适合当地水资源特性的仪器设备。
信息采集传输的设备选型与配置应充分考虑当地的水文、气候特征、供电条件和环境安全等因素。
（1）在线监测信息对象
在线监测信息对象包括：
水源地、取用水、行政边界河流控制断面、地下水超采区以及水功能区水量水质信息。
监测规模、监测手段和监测代价的衡量要应充分考虑当地的经济发展水平、经济承受能力、设站技术可行性和运行维护便捷性。
水源地监测：
包括地表水水源地（水库、江河、湖泊等水体）和地下水水源地。
应按照先列入水利部公布的全国重要饮用水水源地名录的水源地、大中型水库水源地，后其它饮用水水源地的顺序安排布设。
取用水监测：
包括重点取水口水量水质监测。
按照先取水环节后排水环节、先集中用水户后分散用水户顺序安排；取水量级考虑先重点用水户后一般用水户、同等取水量级先第二、三产业用水户后第一产业用水户顺序安排；同时兼顾设站条件通盘考虑。
水资源管理单元出入断面监测：
包括省际、地市际以及县际边界河流控制断面。
按照先地市际边界河流控制断面监测后县际边界河流控制断面的监测，水资源管理单元逐级细化、控制能力逐步加强的思路顺序建设。
水功能区监测：
按照《XX省水功能区规划》的部署，按照先保护、保留、缓冲、饮用水源等重要水功能区水质监测、后其余水功能区水质监测、入河排污口监测的原则布设。
地下水超采区监测：
包括地下水水位、水质监测。
按照先禁采区限采区、后地下水集中开采区、先平原区后山丘区的顺序安排布设。
水生态监测：
重点区域和水域水生态监测。
按照先水利部水生态系统保护与修复试点后其它区域的顺序安排布设。
社会用水户、水源地、水资源管理单元出入断面、水功能区、地下水水量水质监测点的布设应在充分利用既有水文观测站网络的基础上统筹规划，有些观测面监测可通过上下游监测点观测数据内插方式满足，有些可通过既有测站增加观测项的方式满足。
（2）新设监测点的工作方式
新设水量监测点选用应答／自报兼容的工作方式。
按照“无人值守、有人看守、定期巡检”的运行维护机制实施信息采集作业。
对不适宜设置全自动监测点的地方，亦可按有人值守模式配置设备、设点观测。
1）流量监测
对采用直接流量监测方式的信息采集点，由采集端设备直接采集流量瞬时值，并存储在本地记录单元；对采取水位监测方式的采集点，采集、记录、传输的均是水位信息，并参照水文测验规范定期对采集端实施水位流量关系率定，尤其是平、枯水位流量关系的率定，在信息接收端利用水位流量关系将采集的水位信息转换成时段采集量或过流量信息。
采集端设备按照15分钟采集一次瞬时值。
2）水质监测
对新设水质监测点采用定期巡测、人工取用、室内分析化验方式开展监测工作；对已建立水质自动监测设施的监测点，采用增加其报信设施的方式进行汇接和功能升级。
对确需要设置自动水质监测点的地方应审慎选择建设自动水质建设设施。
水质监测不同采集方式分别规定的监测间隔和记录周期不同。
（3）监测点的采集频次
在正常工作状态下的采集频次按照：
单纯以水资源管理应用需求布设的各类水量信息采集自动站点，支持旬周期用水调度业务按6小时间隔报信；支持月周期用水调度业务按12小时间隔报信；支持季度周期用水调度业务按24小时间隔报信，人工监测点均按24小时间隔报信。
多用途信息采集站点报信间隔超过水资源管理需要的，应比照同站点完成水量信息描述时段的归一化。
报信间隔不能满足水资源管理需要的应比照专用站点调整信息报送间隔。
社会用水户取水口、水源地、入河排污口、行政边界河流控制断面、水功能区的水质监测，根据工作规范和实际要求实施采集频次。
突发应急状态下的采集频次按照：
固定站的水量、水质监测报信工作机制均可临时调整为1小时间隔。
在固定观测不能满足要求时，可动态设立移动监测点，对水量、水质进行跟踪监测。
（4）时空基准
系统工作统一采用北京时间作为标准计时基准，日界统一为北京时间8时，水资源信息采集站点每日首次报信时间遵从水文或防汛部门规定的每日首次报信时间即8时为准。
位置描述使用全球定位系统GPS和具有我国自主知识产权的北斗导航定位系统对水资源信息采集站点的坐标定位，统一采用2000地心坐标系统纬度坐标进行位置描述。
已有数据应逐步过渡到2000地心坐标系。
绝对高程基准采用1985黄海高程基准，对确需采用地方基准或相对基准进行水位观测的测站，进行地表水水体水位流量关系转换时，应在其预处理环节先行滤除因高程基准不统一导致的测验误差。
（5）在线监测信息传输方式
在线监测信息传输指将采集站获得的水资源信息通过有线或无线信道送至系统接收端的传输过程。
对于水资源信息采集共用部门采集设施和传输通道的，应遵从既有传输方式和传输路径。
在国家防汛抗旱指挥系统工程已覆盖的信息采集区域的新设站，应加入该系统。
对于其覆盖不到的区域确需新建传输通道的，各省可根据当地公网实际状况和采集传输系统建设、运行维护的经济性要求综合权衡，在保障信息传输适度安全的前提下，选择适宜的公共通信信道进行信息传输组网。
目前可供选择的采集通信资源主要有：
中国移动通用无线分组业务（GSM／GPRS）；中国联通无线扩频通信技术（CDMA）；中国移动短消息业务（GSM／SMS）；公共电话网（PSTN）；北斗通信卫星短消息；同步通信卫星；海事通信卫星短消息；超短波技术：
微波技术等。
在选择通信方式时，在同一个系统中不宜使用多种通信方式，仅在某些信息采集点首选通信方式不能覆盖时可另选通信方式。
部分重要站点可设计备用传输通道，并考虑突发事件发生时的应急信息传输，满足应急监测的需求。
1.1.1.2数据分类分析
水资源管理系统涉及数据主要包括以下几种：
（1）在线监测数据
图表1.11在线监测数据来源
需建数据库名称
数据来源
说明
城市饮用水水源工程监测数据库
地表水水源地水量来源于实时水雨情库；地下水水源地水量来源于地下水数据库
本系统新建数据库
取用水监测数据库
地表水取水口水量，来源于取水口水量在线监测系统；地表水取水口水质即地表水水源地水质。
地下水取水口水量、水质均来源于生产性地下水井在线采集系统
水功能区监测数据库
入河排污口监测水量，水功能区监测均来源于入河排污口和水功能区在线监测系统
这些数据均由XX省水文局管理，直接使用，没有数据库建设任务。
行政边界河流监测数据库
水量来源于实时水雨情数据库
地下水超采区监测数据库
来源于地下水超采区在线监测系统
旱情监测数据库
来源于水文部门
实时水雨情数据库
即现有实时水雨情数据库
水质数据库
来源于水文部门
（2）业务管理数据
对于业务管理和决策分析支持，同一业务管理数据库应存储省、地市、县三级水资源管理部门产生的业务信息，根据不同的管理层级，业务管理信息不尽相同，同时省、地市、县级信息之间有一定的关系。
根据需求，对水源地数据库相关数据中的城镇地下水水源地进行调查测量，并对城镇地下水水源地开发利用状况进行评价，并录入相应数据库中。
具体数据内容为：
1）地形测量
利用已调查的城镇地下水源地资料，确定工作区范围。
通过对地下水源地地形的测量，实现以下两个目的：
测量比例尺确定为1:
10000，测量面积为大型水源地30km2,中型水源地为15km2，小型水源地为5km2。
测量内容包括区域地形、生产井、监测孔高程、坐标测量等。
2）地下水源地开发利用状况评价
地下水源地开发利用状况评价包括水量、水质现状评价和供水可持续性评价等三个方面。
①水量评价
根据地下水源地开采量的大小、水文地质资料完整程度和水文地质条件的复杂程度，采用解析法或数值法对地下水源区的补排量进行计算。
进行地下水源区的开发利用程度和供水水量的安全性等方面综合评价。
对于大型的地下水源地，采用数值法进行补排量的平衡计算，并对该水源区进行不同开采量进行模拟预测，对该水源的开发潜力及可能出现的问题进行评价。
建立地下水资源管理与规划模型。
对于中、小型地下水源地，采用解析法进行补给量的计算，并根据地下水动态监测资料，对该水源的水量合理性进行评价。
②水质评价
利用已有调查资料，进行水源地水质状况评价。
地下水水质评价标准采用国家标准《地下水质量标准》（GB/T14848－93）。
采用单项组分评价和综合评价相结合的评价方法。
将地下水水源地水质指标分为一般化学指标或细菌学指标、毒理学、放射性指标和地方特定项目4大类。
一般理化指标或细菌学指标，对人体健康影响较小或可通过净水厂传统处理方法去除，这一类指标按地下水水质标准的5类进行评价，并将其Ⅲ类水标准值的上限值确定为地下水水质控制标准。
毒理学和放射性指标作为一类，按生活饮用水卫生标准进行达标评价。
根据现状水质和对地下水源区及其周边环境的调查结果，对地下水源地现状水质安全性进行评价，对地下水源地水质安全趋势进行预测。
③供水可持续性评价
在地下水源地用现状评价的基础上，根据区域的水文地质条件及水源地周边地下水开发利用现状，对现状城镇地下水源的可开采量进行分析计算，对地下水源供水可持续性进行研究。
（3）基础数据
基础数据来源如下表所示。
图表1.12基础信息数据来源
需建数据库
数据来源
水利工程数据库
防汛抗旱指挥调度系统，直接使用，没有建设任务
水资源评价数据库
将现有信息资源进行校核、整合、补充、完善，然后导入
给排水数据库
将现有信息资源进行校核、整合、补充、完善，然后导入
水环境数据库
将现有信息资源进行校核、整合、补充、完善，然后导入
水文数据库
来源于省水文局，直接使用，没有建设任务
气象数据库
防汛抗旱指挥调度系统，直接使用，没有建设任务
社会经济数据库
防汛抗旱指挥调度系统，直接使用，没有建设任务
旱灾数据库
防汛抗旱指挥调度系统，直接使用，没有建设任务
水环境灾数据库
将现有信息资源进行校核、整合、补充、完善，然后导入
（3）空间数据库、多媒体数据
空间数据库的建设需要购买空间基础数据。
多媒体数据库，将现有信息资源进行校核、整合、补充、完善，然后导入。
（4）决策支持数据
表1.13决策支持库数据
数据库名称
信息来源
决策分析库
需要需要软件开发
构建式模型库
需要软件开发
预案方案库
将现有信息资源进行校核、整合、补充、完善，然后导入
专家知识库
将现有信息资源进行校核、整合、补充、完善，然后导入
1.1.1.3数据流向分析
XX水资源管理系统数据来源复杂，业务管理单位包括省水利厅水资源处、省水文系统、地市水资办、县水资办各级管理单位、全省各市县、相关流域机构及专业水文气象单位等。
数据库内容包括了
水文监测、综合办公、水情监测、取用水监测以及基础空间信息、视频、图像等各类媒体信息。
系统基本数据流向图如下图所示：
XX省水资源管理系统数据流向图
1.1.1.4数据量分析
数据量是确定数据存储平台模式与规模的重要依据，通过对整个系统现有数据量、数据增量、数据分布等的分析，最终确定数据存储与管理体系的建设模式、建设规模。
水资源管理系统的各类数据可分为结构化数据（如水雨情数据、供水工程基本信息及水质监测数据等）和非结构化数据（如供水工程监控视频数据、办公文档、电子地图数据等）两类，
水资源管理系统的结构化数据主要包括：
水资源管理业务处理数据、水利工程实时监控数据、水文站点维护管理数据、水文监测与预测数据等。
对于结构化数据来讲，通过合理的数据库表结构设计，尽可能的消除冗余数据，这类数据占用的存储空间是相对有限的。
其具体分析如下。
水文站点监测数据包含测点名称、采样日期、分析日期、水温、PH值、溶解氧、总硬度、悬浮物、氯化物、氟化物、硫酸盐、高锰酸盐指数、化学需氧量、生化需氧量、氨氮、亚硝酸盐、硝酸盐氮、氰化物、六价铬、粪大肠茵群等内容，确定的水质级别。
按照每次采样每条纪录500字节计算，每1天采集一次。
全省水文监测站一年的数据量为约为80MB/年。
再加上人工监测和移动监测的数据，以及评价分析数据，水文监测数据库初始数据量约为100MB。
非结构化数据主要包括：
行政管理与办公信息数据、水利工程实时监控视频图像、工程安全监测视频图像、基础空间地理信息等。
这类数据的一大特点是所占存储空间很大，一个文件少则几MB，多则几十MB或GB。
因此这类数据将占居整个数据库的很大一部分空间。
其具体分析如下。
行政管理与办公信息数据主要是大文本数据，大体上可分为邮件、办公文档、档案及其它行政管理。
这类数据量在10G左右。
水利工程监测监控、视频数据主要存储在地市数据库和县级数据库，这部分内容按周期存放，只保留最近三个月的应急监控数据，省级数据量约为1T左右。
基础地理空间数据主要指XX的地理信息数据。
地理信息数据包含
全省主要河流、城市、水库、水源地、水功能区、排污口、地下水观测点、灌区、交通设施、村庄等基础信息，全省1:
25万数字电子地图数据，数据量约为4GB；全省1:
5万电子地图数据及大比例尺的各类专题图，数据量约100GB。
地理信息数据年初始总量约为200GB，存放于省级水资源管理数据库。
1.1.2功能需求
1.1.2.1数据库管理功能需求
在水资源管理系统数据库中大多为结构化的关系型数据库，数据存储量相对有限。
考虑现有数据库运行状况，需在地市和县分别建立数据库系统运行环境。
原则上各级业务单位要围绕相应的数据中心建设，统一考虑数据库系统运行环境，充分利用数据中心数据库系统资源，应尽量避免重复建设，并结合应用系统建设需要，配置必要的软硬件系统。
按照数据库管理的要求，数据库管理系统设计应采用支持空间地理信息管理的关系型数据库系统，建立数据库管理系统，所需要的主要功能包括建库管理、数据维护管理、代码维护、数据库用户管理、数据安全管理等功能。
同时，宜选用UNIX服务器作为数据库服务器，采用双机热备运行方式，保障数据库系统的运行。
要实现数据资源的共享和利用，必须针对XX水资源管理系统的运行特点，建立分布式的统一数据资源管理平台，将数据资源集成在一起，为各类业务人员提供统一的数据资源目录服务，形成统一的可以方便查询与管理的标准化的虚拟数据库，方便不同用户对数据的高效率使用，辅助管理者决策
，提高决策的正确率和及时性。
1.1.2.2数据库存储功能需求
随着水资源业务的发展，数据存储容量将会增加很快，主要包括大量的水文监测实时数据；日常办公生成大量的文本、图像、图形、音频、视频等多媒体数据；以及系统的长年运行积累越来越多的历史数据。
这就要求利用先进的、具备高性能和高可用性的、扩展能力强的大容量存储设备和软件，构建功能完善数据存储与管理平台，集中化、智能化、图形化的存储与管理所有Internet/Intranet重要应用的关键性信息数据；还要考虑提高数据传输能力，提供快速的数据访问服务。
要保证存储系统具备强大的零停机在线扩充升级能力，兼容更先进的存储技术，使存储网络具备灵活的可扩展性，包括存储容量和存储系统性能的扩展，使存储系统可随着应用需求的改变而改变，不会造成系统投资的浪费。
同时，可以根据应用系统特点，制定合理的存储解决方案，提高系统利用率，降低用户投资成本。
数据存储平台可以实现高性能的数据存取和安全备份，满足大规模用户并发性数据读写的要求，使复杂的数据业务存储网络易于维护和管理，通过完善的备份恢复机制，以确保数据不会丢失，并保证为用户提供7×24小时的连续访问。
1.1.2.3数据库备份容灾需求
水资源管理业务要求全年不间断运转，对系统运行提出很高的要求，需要在建立数据存储系统的同时，建立包括本地备份和远程容灾备份的完备的数据安全保护机制。
要根据设备条件、存储空间和业务需求，定制当前最高效、安全级别最高的备份策略，在保证数据安全的前提下尽可能使数据库的正常服务不受影响，定期或不定期的对数据库进行增量备份或完备备份等功能，实现数据的自动备份，减少维护人员手工操作。
并且当灾难发生时可以以在最短的时间内进行恢复，尤其对取用水监测、取水用户管理、水源地监测关键业务数据要优先恢复运行。
同时，为了防止灾难性事故的发生，还需要建立数据远程容灾系统，利用优越的通信专网优势，实现关键业务数据的远程备份和快速恢复。
1.1.3性能需求
对数据库系统的性能需求主要是依据系统业务需求和管理运行模式，通过对数据分类进行分析，用实体联系的分析方法对数据对象进行分析分解，一般应达到第三范式，在此基础上对数据逻辑结构进行优化设计，使之在满足需求条件的情况下,系统性能达到最佳，使系统开销达到最小。
在数据库的实施过程中，要合理使用分区、索引及存档功能，在应用系统软件开发中对恰当编写访问数据的SQL语句，并对数据库的响应时间和吞吐量进行权衡，提高数据库的可用性、数据库的访问命中率以及内存的使用效率；今后在数据库运行实施阶段，还要采取操作系统级和数据库级的一些优化措施来使系统性能达到最佳。
对于数据存储平台的选择条件，首先要具有处理速度高、存取速度快和可扩展性强等特点，同时要具有良好的开放性，应选择带宽性能、I/O性能好，控制器处理能力强，高速缓存容量大的数据存储设备，磁盘存储设备内部结构与运行方式对业务应用服务器性能基本上无影响，可对整个业务系统实现完全的冗余和备份。
存储平台架构的建设要求数据的冗余存储，控制和数据通道的冗余配置，保证系统无单点故障发生。
还需建设一套高可靠性和高性能的容灾备份方案，以确保业务数据的安全性和业务的连续性和整体可用性。
1.1.4安全需求
数据安全问题对整个调度系统的运行有“牵一发而动全身”的影响，将可能带来涉及和影响各个层次、多方面系统级的威胁、危害，甚至是灾难性的。
数据资源管理平台的安全问题，主要涉及数据应用安全与数据存储安全，要保证整个存储系统的安全可靠，必须分析整个数据存储系统面临的安全风险和安全威胁。
这些风险和威胁虽然有各种各样的存在形式，但其结果是一致的，都将导致数据的丢失或损坏，影响整个系统的数据服务，破坏整个数据存储系统的正常运行的有效性、可靠性和安全性。
数据存储与管理系统的安全主要涉及到硬件设备、操作系统、数据库、数据存储以及运维管理等层面，同时，还要针对水资源管理具体业务应用来提出数据安全的需求。
1．在设备上可采用高可用性的硬件配置，在数据库服务器、数据通道、数据存储以及电源、机房空调等设备均需采用
冗余的设计。
2．操作系统安全也称主机安全，首先，通过操作系统的用户名、口令的机制来识别用户，增强对操作系统的访问控制功能，降低使用人员的误操作；还可采用基于操作系统的入侵探测技术，实时检查和处理系统的审计记录；加强防病毒侵袭的防范措施。
3．基础数据库的管理要注意数据的安全问题，一般的关系性数据库都已经提供足够的安全级别管理，所以在进行数据访问时应对访问数据的对象进行访问权限控制保证数据的安全，每个用户都有一定的访问权限。
4．存储安全主要考虑在数据传输通道、操作系统、存储端口分区、磁盘分区等方面实施有效的策略，同时，还要针对控制专网、业务内网和业务外网的划分对不同网段的数据实施物理隔离，确保关键业务数据的安全。
5．运维管理安全方面，需要建立健全的安全管理制度，明确系统管理人员的职责范围，加强管理人员的培训。
1.2总体方案设计
1.2.1设计原则
1.2.1.1统一标准的原则
建立数据库最重要的是标准化，只有做到统一技术标准，才能实现数据交换和数据共享。
信息分类编码和所有的库表采用的标准应当统一，有国家标准或行业标准的必须采用国家标准或行业标准及《
XX省水利信息化技术标准体系》，并与水利部水资源司组织编制的“水资源监控管理数据库表结构及标识符标准”的数据库设计保持一致，采用统一的数据库表结构，包括统一的接口、开发工具和管理软件、统一的字段标识符、项目编码等。
1.2.1.2信息共享的原则
数据库建设应充分利用已开发建设的及拟建设的水利系统数据库，如实时水雨情数据库、工情数据库、水文数据库、工程数据库、水环境数据库、旱情数据库、社会经济数据库、空间数据库、水政执法数据库等。
同时，本数据库亦应供XX省水行政部门其他业务应用系统及相关行业应用系统使用，避免重复建设，实现数据资源最大程度共享。
1.2.1.3安全可靠的原则
数据库是XX省水资源管理系统的信息支撑层和信息基石，必须确保综合数据库安全可靠运行，从系统安全、数据安全、用户安全和应用程序安全等方面进行控制，采用多种安全机制与操作系统相结合，实现数据库的安全保护。
1.2.1.4实时准确的原则
数据库是水资源业务管理和决策调度的信息支撑，数据的准确性、实时性是否满足要求，直接关系到决策调度的科学性和正确性。
在数据库设计和建设过程中，要保证数据的唯一性和完整性，减少应用中数据的转换和误差，字段精度应尽量准确。
同时，数据库应及时更新维护，保证数据的实时可用。
1.2.1.5高效利用的原则
数据库为各应用系统和众多用户提供直接共享访问，提高数据库访问速度是数据库设计与建设过程中必需考虑的。
应尽量把数据类型不同但关系密切的数据放在同一个表中，在数据查询中应减少关联,提高访问速度和利用效率。
1.2.1.6统一建设、分级管理的原则
为了保证数据库建设的统一性、标准化和数据的准确性，数据库设计和建设由省中心统一负责建设，各分中心负责提供数据资料；各分中心数据库的更新维护管理由各分中心分级负责。
1.2.2建设目标与任务
1.2.2.1建设目标
数据资源管理平台的建设目标：
以标准体系建设为基础，运用数据库、网络存储、数据备份等技术，建设各类数据库，建成服务于各业务应用的省水资源管理数据中心，建立协调的运行机制和科学的水资源管理模式，形成XX水资源管理系统数据资源管理体系，为应用支撑平台建设及各业务应用数据交换和共享访问提供数据支撑。
1.2.2.2建设任务
1、根据XX省水资源管理业务需要，通过省水资源管理数据中心和地市、县水资源管理数据中心建设，建立起完善的网络数据存储与管理体系，提高数据管理效率，降低数据管理成本，为
业务应用提供数据服务。
2、建设综合数据库和元数据库。
通过综合数据库以及元数据库建设，建立覆盖全部水资源管理业务的数据库管理系统和数据更新机制，保证数据的完整性和一致性。
3、利用具有高可用性、高可靠性、高可扩充性的大容量存储设备和管理软件，建设XX省水资源数据存储平台，建立数据存储管理机制，实现高性能的数据存储管理功能。
4、建设XX省水资源管理省中心数据存储平台的本地备份系统和异地容灾系统，通过制定合理的备份策略，建立起完备的数据备份机制，为数据安全管理提供可靠的保障。
1.2.3总体方案设计
1.2.3.1数据库总体结构
从水资源管理各类数据的存储与管理的要求出发，依据“统一规划、统一标准、统一设计、数据共享”的原则，数据库分为综合数据库和元数据库，根据具体应用需求将综合数据库分成在线监测数据库、业务管理数据库、基础信息数据库、空间数据库、多媒体数据库和决策分析支持库六大类。
其中空间数据库采用地理信息系统进行管理，其他数据库由关系型数据库管理系统进行存储管理。
XX水资源管理系统综合数据库的总体结构如图1.21所示。
图1.21综合数据库总体结构图
1.2.3.2数据库物理结构
升级会员 