数据处理概述Word下载.docx
《数据处理概述Word下载.docx》由会员分享，可在线阅读，更多相关《数据处理概述Word下载.docx（24页珍藏版）》请在冰点文库上搜索。
将普查表、台帐表数据录入到数据处理系统中，整理汇总，并经审核、复核、抽查验收后，形成普查基础数据库。
普查数据处理
a）组织工作人员调查填写普查表和台帐表
b）普查表回收与审查
c）普查表数据录入
d）普查数据分类汇总
e）普查数据复核
f）普查数据上报
g）数据库建设
（五）普查空间数据采集处理与数据库建设
采用先进技术路线，基于工作底图开展水利普查空间数据采集与处理，可以充分发挥高分辨率遥感影像、第二代1/5万国家基础测绘和第二次土地调查等地理信息成果在水利普查中的辅助作用，可以大大减少普查工作中繁重、耗时的外业工作量，降低工作成本、加快普查工作进程、提高普查成果质量，同时，为下一步建设国家基础水信息平台做好数据资源、技术资源打下基础。
二、数据处理基本思路
按照普查工作的总体要求和进度安排，以基础资料和各类普查表为数据处理对象，采用统一的数据处理软件，遵从统一的数据处理标准和工作规范，按照“统一组织、分级负责”的原则，按县、地、省和国家（流域）分级开展数据处理工作。
在工作内容上：
以普查数据录入、审核、上报、验收、汇总、分析、建库等为重点，最终形成高质量的普查数据成果；
在工作模式上：
采取“逐级上报、超级汇总”和“集中处理、专业把关”的方式；
在技术手段上：
通过综合利用数据库管理、地理信息系统、遥感影像应用和计算机网络等技术，建立起全国统一的数据处理系统。
普查组织实施思路
◆对于河湖基本情况普查和土壤侵蚀普查，由于主要是利用地理信息和遥感分析方法，通过内业分析计算方式获取普查对象的基本信息，将在水利普查办公室的统一领导下，分别由水文专业和水保专业制定数据处理方案，独立组织实施。
◆对于水利工程、河湖开发治理保护、社会经济用水、行业能力、灌区、地下水以及水保措施等普查任务，均按在地原则，自下而上逐级汇总。
组织机构工作
●国务院水利普查办公室：
主要负责组织指导全国水利普查数据处理工作，制定有关工作方案、制度和规定，负责全国普查成果的验收、建库和分析利用；
●各级水利普查机构：
按在地原则，负责组织开展本流域或区域水利普查数据处理工作，逐级贯彻落实国务院水利普查办公室的有关要求，做好对下级水利普查机构数据处理工作的检查指导和质量控制，完成普查数据成果的逐级审核、汇总和上报工作。
人员岗位设置
国务院水利普查办公室下设数据处理处，负责组织指导全国水利普查数据处理工作。
各流域机构、省、地和县级水利普查办公室结合本流域或地区实际情况，设立相应数据处理部门，接受上级数据处理部门的业务指导。
各级水利普查机构的数据处理部门，根据实际情况和工作量，配备相应的数据处理人员，建立岗位责任制，确保各项数据处理工作责任落实到人。
1、各级普查机构均应设置如下数据处理工作岗位：
（1）数据处理负责人：
全面负责数据处理工作。
（2）计算机技术人员：
负责数据处理系统运行环境准备、安装和初始数据装载;
系统运行维护和数据管理。
（3）数据处理业务人员：
负责基础资料的收集与分析整理，普查数据的审核校正、汇总分析和上报等。
（4）数据质量监督人员：
负责解释数据处理各项规章制度，并监督其执行，全程监控数据处理工作,及时解决和反映数据处理中有关质量问题。
（5）普查资料管理人员：
负责普查基础资料、成果资料的管理和使用。
2、县级普查机构还应设置如下岗位：
（1）普查数据录入人员：
负责各类清查表、普查表和台帐表数据的录入、导入和有关报表打印等工作。
（2）普查对象空间数据采集人员：
负责管理和使用水利普查工作底图，各类水利普查对象地理位置数据采集标注与对象空间关系的建立。
3、省级以上普查机构还应设置如下岗位：
普查空间数据处理人员：
负责空间数据的接收、审核、处理和空间数据库建设。
各级数据处理人员岗位和职数可根据本级水利普查数据处理工作需要安排。
三、数据处理准备工作
⏹编制数据处理实施方案
⏹数据处理软硬件环境准备
⏹基础资料收集与整理
⏹装载水利普查工作底图
⏹编发水利普查工作底册
（一）编制数据处理实施方案
根据上级下发的普查数据处理实施方案，结合本地具体情况，编制本地数据处理实施方案。
对各项工作的组织形式、任务分工、工作要求、人员配置、时间节点等做出具体规定。
（二）数据处理软硬件环境准备
按照水利普查数据处理软硬件配置要求，购置系统软硬件，接收安装水利普查数据处理专用软件、空间数据采集处理软件，完成初始化设置和数据装载工作，包括河湖流域分区名录的装载。
（三）基础资料收集与整理
各级水利普查机构应收集准备好以下普查所需资料：
一是水利部门各类统计和业务成果资料。
主要包括规划、计划、设计、勘测和水文监测等工作形成的基础资料；
近年来开展水利统计工作形成的资料；
水行政管理中形成的各类记录，包括工程、机构、人事等档案资料。
二是与政府相关部门沟通协商，收集整理普查基础资料，或接收上级普查机构下发的基础资料。
主要包括：
◆统计部门的社会经济统计资料、第二次经济普查中与国民经济社会用水及水利行业能力等水利普查相关资料；
◆气象部门提供的水土保持所需气象基础资料；
◆环境保护部门提供的污水排放相关资料；
◆国土资源部门提供的与水利普查相关的第二次全国土地调查成果；
◆城乡建设部门提供的城市用水的相关资料；
◆农业部门提供的农业灌溉用水和第二次农业普查的相关成果；
◆林业部门提供的水土保持相关的资料等。
（四）装载水利普查工作底图
接收上级普查机构下发的普查工作底图，并装载到空间数据采集处理系统中。
并按照《第一次全国水利普查数据保密管理办法》的要求做好资料保密工作。
（五）编发水利普查工作底册
根据收集整理的相关资料，针对各类普查对象逐一编制初始名录，在初始名录编制过程中，可参考上级普查机构下发的各类初始名录底册。
县级普查机构在清查工作开始前，将国普办下发的河湖流域分区名录和本级编制的普查对象初始名录分发给相应的普查员、普查指导员。
四、数据处理工作步骤
（一）县级数据处理工作步骤
1.清查数据处理与上报
（1）清查表打印、分发、填写、回收与管理
县级普查机构在清查工作开始前，分普查区、普查对象打印（复印）清查表，并分发给责任普查区的普查员。
普查员组织填写清查表，县级数据处理业务人员回收各类清查表，并对清查表的完整性、规范性进行形式审查，分专业、分对象、分普查区进行资料的归类管理。
（2）清查表录入及名录生成
县级水利普查机构组织人员对回收的清查表进行集中录入。
清查表数据应按普查对象和普查区分类有序录入，其中，每张清查表的清查对象编码自动生成，关联对象仅录入名称。
普查数据质量监督员按照《第一次全国水利普查数据处理质量控制办法》的要求，对清查数据的录入质量进行复录检查。
（3）清查数据审核
在清查表完整录入后，分专业打印清查数据一览表，由数据处理业务人员按照《第一次全国水利普查数据审核办法》，组织相关人员对清查数据质量进行审核，出具审核意见，编列错误清单，并按照规定程序对审核结果进行处置。
普查数据质量监督员应对清查数据的审核、处置过程进行全面监控。
（4）清查数据复核
在清查数据审核完毕后，质量监督人员会同数据处理业务人员按照《第一次全国水利普查数据处理质量抽查评估办法》，组织相关人员对每个乡级普查区的清查数据质量进行复核，并据此处置，质量不符合要求的重新组织整个清查工作。
（5）清查数据上报
县级水利普查机构按照《第一次全国水利普查数据上报和验收管理办法》相关规定，完成清查成果资料的上报准备，按照普查工作进度要求，将清查成果上报地级水利普查机构。
2．空间数据采集与处理
在清查结束后，空间数据采集人员依据《第一次全国水利普查工作底图使用与空间数据采集处理办法》，完成普查对象的空间数据外业采集与标绘和内业坐标采集与标绘，以及空间对象之间关系的建立。
按照普查工作进度要求，将空间数据采集成果上报地级水利普查机构。
3．普查数据采集及数据处理
（1）普查表打印、发放
县级普查机构根据不同普查对象的普查要求，分普查区打印普查表。
由普查区的普查员，按照普查对象名录，领取、发放普查表，并向取水口、万亩以上灌区的管理单位和规模以上工业企业三类填报单位发放动态指标采集的台账表。
（2）普查表数据的采集
普查表中须填写的数据分为静态数据和动态数据两种。
根据普查表填表要求，分别完成普查表中静态数据的采集和普查表中动态数据的采集工作。
（3）普查表中静态数据的录入
县普查机构数据处理业务人员组织数据录入人员集中录入普查表静态数据，及时通过水利普查数据处理专用软件督促、检查各类普查对象数据录入情况。
县级普查机构要通过互联网及时将录入进度信息，上传至国普办。
（4）取用水台账表数据录入
县普查机构数据处理业务人员，组织数据录入人员在2012年1月底前完成台账表的集中录入。
县级水利普查机构的数据处理业务人员，要通过水利普查数据处理专用软件及时检查台账数据的录入情况。
（5）打印有数据的普查表，反馈确认与补填
县级普查机构利用水利普查数据处理专用软件，按照普查区、普查对象，打印输出带有静态数据和部分取用水指标数据的普查表。
普查员将普查表发放给相应的填表单位，填表单位对普查表中已填写数据进行复核确认，并补填普查表中未要求建立台账的动态指标数据。
（6）普查表回收及数据编辑
县级水利普查机构对普查表进行审验，普查数据修订、补录。
普查表进行归类、装订。
县级水利普查机构按普查进度要求完成普查数据的集中录入工作。
（7）数据审核和订正
在完成各类对象普查数据录入后，县级水利普查机构组织水利专业的业务人员和相关专家对普查数据进行审核，出具审核意见，编列错误清单，并按照规定程序对审核结果进行处置。
普查数据质量监督员应对普查数据的审核、处置过程进行全面监控。
（8）普查数据抽查验收
质量监督人员会同数据处理业务人员按照《第一次全国水利普查数据处理质量抽查评估办法》，组织完成每个乡级普查区的普查数据质量复核工作。
复核结果要利用水利普查数据处理专用软件进行复录和比对分析。
对复核结果不符合质量控制要求的乡级普查区，应重新组织开展普查工作。
（9）普查数据上报
县级水利普查机构按照《第一次全国水利普查数据上报和验收管理办法》相关规定，组织完成普查成果资料的上报准备
（二）地级数据处理工作步骤
（1）清查数据接收、抽查、上报
接收县级水利普查机构上报的普查对象清查数据成果；
组织对所辖内县级水利普查数据的复核，完成清查数据审核、对象关联分析；
对上报的跨县普查对象进行归并；
汇总并向省级水利普查机构上报清查数据成果。
（2）普查数据接收形式审查
接收县级水利普查机构上报的普查数据和相关资料，检查上报数据和资料是否符合《第一次全国水利普查数据上报和验收管理办法》要求。
将上报数据接收加载、审查。
在数据接收后，按照《第一次全国水利普查数据审核办法》要求，对接收的数据进行审核分析，发现问题，及时要求下报普查机构进行处理和说明，必要时，要求重报。
（3）普查数据合并和汇总分析
合并各县上报的普查数据，对跨县级行政区的普查对象进行归并处理。
按照普查数据汇总分析的有关规定，对本地区所有普查数据进行汇总分析和审核。
（4）普查数据验收
按照《第一次全国水利普查数据上报和验收管理办法》组织对本地区的普查数据进行质量验收。
（5）普查数据上报
按照《第一次全国水利普查数据上报和验收管理办法》的相关要求，将本级别签字盖章的汇总表和规定的上报文件一起正式报省级普查机构。
（三）省级数据处理工作步骤
除如下几个特殊的流程外，其余流程与地级水利普查机构的数据处理工作相同。
（1）核对河湖、水保相关清查数据
按照《第一次全国水利普查总体方案》的要求，由省普查办组织复核河湖特征和土壤侵蚀的内业分析数据。
（2）普查数据上报
按照《第一次全国水利普查数据上报和验收管理办法》要求，将普查数据上报国务院水利普查办公室，并按流域分区同时上报流域机构。
（3）普查数据建库和规范化、标准化处理
经流域机构和国务院水利普查办公室审核验收通过后，正式建立水利普查数据库和空间数据库。
根据相关分类和编码标准，对普查数据进行规范化、标准化整理。
（4）普查成果发布
根据普查数据汇总分析，发布本区域水利普查的主要指标，出版普查成果资料汇编。
（四）流域级数据处理工作步骤
（1）合并流域涉及的省级上报的普查数据，按流域进行汇总分析；
（2）汇总分析成果上报国务院水利普查办公室；
（3）建立流域级的普查数据库；
（4）编制、发布和出版本流域的普查成果资料汇编。
五、空间数据采集与处理
水利普查空间数据是指水利普查对象在空间上的位置、形状、大小和分布等特征信息以及水利普查对象之间关系的描述。
空间数据采集与处理是与普查工作的重要组成部分，一方面辅助其他普查过程，起到校对、审核作用；
另一方面，建设普查对象空间数据库。
基层空间数据采集分两种情况：
一是：
河湖组、水保组的空间数据采集与处理；
二是：
其他普查对象的采集、标绘及关系建立。
（本讲只针对第二种情况，第一种情况详见河湖普查和水土保持普查培训）
（一）空间数据采集的普查对象范围：
普查任务
对象类别
对象范围
标绘形式
采集方式
河湖基本
情况
河流（中泓线）
全部
线
复核
湖泊（含中泓线）
多边形
水文站和水位站
点
标绘
水利工程
水库（大坝）
规模以上
水电站
水闸
泵站
引调水工程
堤防（段）
河湖开发
治理保护
河湖取水口
地表水源地
多边形或线
治理保护河段与湖泊
入河湖排污口
水土保持
侵蚀沟道
野外调查单元
治沟骨干工程
灌区专项
灌区
10000亩以上
（二）空间数据采集的方法和要求
水利普查空间数据采集与处理的基本技术路线选择内业底图标绘为主与部分对象外业补采的混合使用方式。
◆内业部分可通过工作底图，直接提取、标绘普查对象；
◆外业部分需要普查人员依据地物坐标采集设备，现场采集普查对象的坐标，然后将坐标数据导入到软件系统，与名录关联，上图标绘。
空间数据采集与处理基本流程
（三）普查工作底图构成
水利普查工作底图是合成了遥感影像、基础地理信息、土地利用情况、河湖流域分区和水利专题等形成的专用地图，是开展水利普查空间数据采集处理的基础资料。
六、数据处理系统建设
按照水利普查数据处理任务，在充分利用全国水利系统现有信息化资源基础上，建立一套水利普查数据处理标准规范，构建满足水利普查数据处理系统运行环境，开发一套支持水利普查数据处理的软件系统，为各级水利普查数据的录入、编辑、审核和汇总以及数据管理、数据加工和信息发布等提供工作平台。
（一）数据处理软件
⏹基层登记台账管理系统
⏹普查数据处理上报系统
⏹空间数据采集处理系统
⏹普查应用支撑平台
⏹普查数据管理系统
⏹普查内网门户普查
⏹普查外网门户
⏹标准规范和运行环境
1、基层登记台账管理系统
服务于水利普查对象管理单位和县级水利普查办公室对水利普查对象的清查和对象指标数据的收集与整理。
基本功能包括：
清查登记、普查登记、台账登记、数据审核、进度管理、数据管理、任务管理、系统管理、帮助等。
2、普查数据处理上报系统
服务于县级和地市级水利普查办公室对水利普查数据的处理和上报。
名录管理、归并合并、数据审核、数据汇总、数据抽查、数据管理、进度跟踪、网络传输、系统管理、任务管理、帮助等。
3、空间数据采集处理系统
是基于统一数据模型的水利普查空间数据建库工具，包括配发到基层或同级部署的空间数据采集处理系统采集版和配发省级以上普查机构的空间数据采集处理系统处理版构成。
对象录入与编辑、对象关系建立功能、规则符合性检查、数据汇集与分发、元数据自动抽取与管理。
4、普查数据管理系统
用于省级、流域级和国家级水利普查机构对本级水利普查数据库中数据进行管理。
名录管理、归并合并、数据审核、数据汇总、数据抽查、数据管理、进度跟踪、网络传输、任务管理、系统管理、平台管理、帮助模块等。
5、水利普查内网门户
用于水利普查数据的深加工，通过对水利普查数据多角度的分析与统计，发现水利普查数据本身可能存在的问题和规律，为水利发展规划制定提供科学依据。
主要功能包括：
仪表盘功能、报表功能和查询功能。
6、水利普查外网门户
用于各级水利普查单位之间进行交流；
用于向社会公众发布水利普查有关信息，包括各阶段管理、技术，以及最终普查成果数据等。
主要内容有：
工作动态、组织机构、普查方案、媒体聚焦、工作简报、各地动态、经验建议、解疑释惑、参考资料、成果公告等。
7、普查应用支撑平台和普查数据库
应用支撑平台针对省级、流域级、国务院水利普查办公室普查数据量大、涉及范围广、应用需求复杂的情况，将采用多种先进技术结合的方式，为水利普查数据处理信息系统提供统一的技术架构和运行环境。
应用支撑平台包括：
应用应用支撑服务、数据集成服务、数据存取服务、数据库四部分。
普查数据库：
是各级水利普查机构，在数据处理过程中逐级形成的基础数据、中间成果数据、最终成果数据的集合。
◆省级以上水利普查办公室及其办事机构，将利用大型关系数据库管理系统，建立水利普查数据库。
◆省级以下水利普查机构运行的水利普查数据处理信息系统将采用小型数据库管理系统（如：
MySQL）和文件系统相结合的方式对水利普查数据进行统一管理和控制。
（二）数据处理系统部署
◆国家级、流域级及省级均包括普查数据库、普查应用支撑平台、空间数据采集处理系统、普查数据管理系统、普查内网门户、普查外网门户；
◆地市级包括普查数据处理上报系统和空间数据采集处理系统；
◆县级包括普查数据处理上报系统、基层登记台帐管理系统和空间数据采集系统。
（三）软硬件环境配置
依据数据处理的工作原则，水利普查应用软件采用集中开发、分级应用的建设模式，随着不同层级工作内容的不同，普查应用软件功能不同，对软、硬件配置环境要求不同。
县级水利普查办
1
台式计算机
4
2
打印机
3
基层登记台帐管理系统
统一开发、免费发放
普查数据处理上报系统
5
空间数据采集处理系统（采集版）
6
涉密单机安全保密系统
统一购买，免费发放
地市级水利普查办
统一开发、免费发放（可选）
省级水利普查办
外网门户服务器
外网门户，部署在外网
Web服务器
部署内网门户，部署在涉密网
应用服务器
部署应用支撑平台、普查数据管理系统，部署在涉密网
GIS服务器
部署GIS软件，部署在涉密网
数据库服务器
部署数据库软件，部署在涉密网
存储系统
根据所在省面积大小配置，部署在涉密网
7
数据备份系统
部署在涉密网
8
GIS软件
9
数据库软件
双机，部署在涉密网
10
普查数据管理系统
11
空间数据采集处理系统（处理版）
12
20
13
交换机
流域机构水利普查办
部署内网门户，部署在涉密网
部署应用支撑平台、普查数据管理系统，部署在涉密网
部署GIS软件，部署在涉密网
部署数据库软件，部署在涉密网
长委、黄委100TB，其他流域机构50TB，部署在涉密网
各级普查相关单位在建设普查数据处理系统时应充分利用现有的网络、服务器、存储、安全防护措施等资源，并根据需要补充必要的软硬件设备。
七、数据安全保障
（一）常规数据安全保障
.数据日备份制度
在数据录入和审核修改期间，利用移动硬盘或其他介质对录入数据每天进行一次备份。
用两个介质，隔日交替对录入的数据进行备份。
.基础资料备份
升级会员 