农业遥感一张图地理信息系统文档格式.docx
《农业遥感一张图地理信息系统文档格式.docx》由会员分享，可在线阅读，更多相关《农业遥感一张图地理信息系统文档格式.docx（49页珍藏版）》请在冰点文库上搜索。
（2）“一图”本底数据库建设
按照统一规划、统一标准的要求，对不同类别、不同专业的海量、多源、异构数据进行整合，将数据分层管理，形成“一图”本底数据库。
建设集成资源调查、农情监测、灾害预警等多源数据的农业“一图”本底数据库。
依据相关数据建设标准、规，对多源、海量、异构数据进行转换、整理等，按照统库标准进行数据库入库。
海量数据库建设做到性能优化，满足海量数据浏览和显示、后期数据维护和更新需求。
（3）“一图”数据管理应用系统建设
开发“一图”数据管理应用系统，进行“一图”数据库的管理、维护、查询统计、更新、统计分析等应用。
提供数据服务应用，为面积监测、长势监测、产量监测、气象灾害监测等应用管理系统提供全面、准确的数据支撑。
具备数据检查、入库、编辑与处理、更新、交换（输入输出）、元数据管理以及数据备份、系统监控、数据迁移、日志管理等较为完备的功能，为行业管理、综合监管和辅助决策提供数据支持。
（4）数据共享发布服务建设
建设基于WebService的数据共享发布服务，满足公众对农业相关数据的应用需求，对实现农业“一图”的数据共享，对外为其他政府部门、企事业单位和个人提供方便、快捷的信息服务。
2.1“一图”数据库建设
Ø
在基础设施支撑下，对不同类别的海量、多源、异构数据进行梳理，利用提取、转换和检查等必要的手段处理、加工成统一数据标准的入库数据，数据按分层分类分区管理，形成农业资源核心数据库原始数据。
以数据库中图层数据为基础，使用Web展现“一图”入库成果，配置美观的符号，显示每一层图形及属性数据。
2.2“一图”数据管理应用系统
按照管理“一图”数据成果和应用服务的要求，开发核心数据库管理系统，实现对全市农业数据的集中管理与维护。
数据库管理系统具备功能如下：
数据交换（输入输出、各式转换）、数据检查、数据分区入库、数据分类、数据更新、元数据备份、系统监控、数据迁移、日志管理等较为完备的功能。
利用数据成果配置图层及图例，比较方便的形成专题图。
对形成的专题图以配置文件保存且能方便的发布成图层数据服务供Web展现。
对重点关心的数据，提供专门的更新，维护接口，简化操作。
2.3“一图”数据共享服务系统
在农业“一图”数据库及其管理系统的基础上，开发应用服务接口，将地理信息服务（图形浏览、定位查询、空间分析等）、属性数据查询与浏览、统计与分析、专题图制作等功能封装，开发对“一图”调用和操作的应用接口，为其它业务应用系统提供图形数据支撑、分析应用与服务。
2.4系统建设原则
（1）统一领导，整体规划
“一图”数据库及数据管理应用平台建设是一项长期的系统工程，为确保建设的有序、规，在实际工作中必须做好统一领导，整体规划。
由信息化领导小组统一领导和部署，组织制定总体规划，设计总体框架，确定总体目标与主要任务，制定项目实施总体方案和详细设计，形成统一的标准体系，并具体组织项目的实施。
（2）统一标准，相互衔接
“一图”数据库及数据管理应用平台建设要求互联互通和数据交换共享，统一标准规为必要保障。
系统建设必须遵循统一数据标准、系统建设规进行，不同业务数据交换依据交换标准进行业务对接。
（3）整体设计，逐步扩展
系统建设依据总体技术框架进行整体建设，确保系统具备可扩展性，从业务梳理、信息化基础成熟程度或需求迫切的业务领域起步，逐步向全业务扩展。
（4）保障安全，开放服务
系统建设涉及各业务处室，涉及涉密及敏感信息。
应在严格执行国家相关信息安全制度前提下，开放接口，满足各类用户管理和研究、分析工作的需要。
3系统总体设计
3.1总体框架
农业“一图”及综合管理平台总体框架如下图所示：
图3-1总体框架
（1）基础设施层
建立县局各部门间互联互通的局域网，支撑业务系统和数据库部运行；
依托Internet，提供对外信息服务。
（2）数据支撑层
数据支撑以农业一图数据库为核心，依托成熟的数据库管理系统、数据调用与服务、数据交换体系，按照统一的标准，建立集数据管理、数据处理、数据交换等功能为一体的一图数据中心，为业务平台运行提供数据支撑。
（3）应用支撑层
以图文一体业务协作架构平台作为各业务应用与服务平台的应用支撑平台，搭建农业综合管理信息平台、信息服务系统。
（4）应用服务层
围绕农业资源管理工作，构建数据管理应用系统、数据共享服务系统，实现数据的统一管理、统一分发、统一共享，为用地单位、社会公众提供信息查询、下载等服务。
3.2总体技术路线
图3-2总体技术路线
（1）采用ETL、WebService、数据调用接口方式对多源、异构数据进行质量检查及整合建库。
一图核心数据库包含的数据容丰富、数据来源多样，数据标准、模型、格式、精度、存储形态等差异甚大，要将种类繁多、海量的数据进行集成整合为支撑农业资源管理业务的核心数据库，需要采用ETL、WebService、数据调用接口方式，开展数据整合建库工作。
（2）采用企业级应用技术和组件设计对各业务系统进行定制开发。
采用企业级应用技术和组件设计，根据用户的需求快速搭建出各业务应用管理系统，且各业务应用管理平台基于统一的门户登录、统一的业务平台构建，形成统一的数据管理模式、统一的数据构件（服务）调用接口。
这样，既保证了数据共享、业务模式统一和其他业务子系统的关联，又保证了业务子系统的独立性、灵活性和可扩充性。
（3）采用应用集成服务技术，支持对复杂应用的集成。
采用应用集成服务技术提供了对其部已有应用系统或外部应用系统的集成支持。
（4）支持多用户、分布式应用，提供统一的安全保障机制
平台提供对多用户和分布式部署应用的支持，并采用统一认证和数据加密技术保证系统用户及系统数据安全。
3.3技术架构设计
采用用户体验最佳的RIA（RichInternetApplication）富客户端技术，基于AdobeFlex技术的RIA应用处于业领先地位。
客户端：
使用标准的Web页面浏览器及FlashPlayer，不需安装特殊的应用程序，减少了升级和维护的难度。
表现层：
使用.Net结合Flex技术，程序无任何刷新，极短的数据等待时间和更方便的快捷操作，致力展示更完美的客户体验和数据表现；
应用层：
所有的业务数据都保存在应用层，确保了业务的安全，采用.Net企业级架构，使得企业业务逻辑的更新和扩展更为方便和容易；
数据层：
采用Oracle10大型后台数据库系统；
图3-3技术架构设计
多层软件架构确保了系统的扩展性和适用性，基于这种多层结构，方便企业应用智能负载均衡与集群等技术实现系统服务能力的扩展。
3.4软件应用架构
图4-4软件应用架构
3.5关键技术
3.5.1多源异构数据集成技术
农业“一图”数据库系统建设所涉及的数据种类较多，包括非空间数据和空间数据。
其中，空间数据包括基础地理信息数据、影像数据等；
非空间数据包括系统管理数据，word、excel、pdf等格式的文档数据，多媒体数据等。
如何在不改变各个数据正常生产运行的情况下，整合诸如文档、数据库属性表等非空间数据和空间数据，统一管理这些的数据成为一个复杂的问题，这就要求系统具有多源异构数据管理和集成的能力。
传统的空间信息应用系统都采取数据格式的转换方法来达到数据的集成或相互利用。
但是这种方式存在着一定的弊端。
首先，使用这种方式时需要知道源系统数据与目标系统数据的字段结构，必须为这两种数据格式的转换编写相应的转换工具；
其次，不同的GIS对地理数据的表现形式的抽象、对地理空间表达的理解是不一样的，两个系统间的数据难以相互进行利用，转换后的数据存在信息丢失的隐患；
再者，这种方式使同一份数据在系统中存在多个备份，不方便数据的维护与管理，也违背了数据分布和独立性的原则。
一种有效的解决方法就是使用数据中心的GIS中间件技术有效管理N个数据仓库，它不改变原有的空间数据模型标准和数据表示方法，通过数据管理器提供的异构数据的管理、层次化的目录树管理、可扩展的数据入库清洗机制与方法、支持URL和GUID协议的数据访问等功能，将不同类型的数据实现集成共享，并通过异构数据的视图来表现。
中间模块操作转换是在源数据与处理后的结果数据之间有一个独立的处理模块，以接口方式与二者进行连接。
中间件是一种独立的系统软件或服务程序，软件平台开发者规定系统部数据的读写接口，通过里面的驱动程序完成对不同来源的数据的处理，从而实现了多格式数据直接访问、格式无关数据集成、位置无关数据集成和多源数据复合分析，完成多源异构数据的无缝集成。
数据仓库集成管理的数据有异构的空间数据和非空间数据，其中空间数据包括国外常用GIS软件所支持的矢量数据（如：
DWG、DXF、E00、Shape、Coverage、Geodatabase、Mid、Mif、MapGIS6X、MapGISK9等）和国外常用遥感影像处理软件所支持的栅格数据（如：
TIFF、CEOS、HDF、RAW、TIF、GIF、JPG、MSI、PIX、IMG、ENVI等），非空间数据包括各种文档（如：
pdf、bmp、xml、html等）和表格数据（如：
Access、SQLServer、Oracle）等。
GIS中间件集成多种数据源驱动，以注册的方式嵌入到数据中心集成开发平台中，当请求某种数据源时，GIS中间件动态加载所请求的数据源驱动。
某种数据源的结构改变时，只须改变其数据源驱动，这样既不需要频繁地进行数据格式转换，又避免了很多重复性劳动；
而且它允许用户在转换过程中重新构造数据，使用户可以根据其特定的要求，提取相同数据源不同层面的容，而不是以单一的格式输入数据。
3.5.2数据仓库技术
数据仓库的目的是构建面向分析的集成化数据环境，为政府和企业提供决策支持。
其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用。
因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用。
其体系架构如图所示。
3.5.3海量数据的可视化
通过以关系数据库存储和管理海量三维数据的组织模式，对数据以分层、分块和LOD模型组织，借助高效通用的硬盘缓存、快速的数据索引以及高效的渲染引擎，实现支持TB级海量数据的快速显示与浏览。
同时，支持单机模式与网络客户端对数据的快速加载、显示与浏览、查询和管理。
TB级海量数据快速可视化主要表现在以下3个方面：
（1）支持TB级高程数据、影像数据的快速显示；
（2）支持多层影像数据无缝隙叠加显示，以及影像各种参数的快速控制与切换；
（3）支持对海量数据的快速浏览与跳转定位。
图237数据仓库体系架构图
4“一图”数据库建设
农业数据分散、来源多样，数据标准、模型、格式、精度、存储形态等差异甚大。
针对农业管理中必须利用的气象数据、农田参数数据、农业统计数据、基础地理信息数据、遥感影像数据等，制定相关标准，进行数据整理，建立农业“一图”数据库。
4.1数据库设计
4.1.1数据库模型设计
农业“一图”数据库的数据类型包括矢量数据、栅格数据、影像数据、专题数据等。
针对各类数据的特点，选择不同的数据组织方式。
农业“一图”数据库作为信息的存储仓库，首先需要把不同数据类型的数据单独组织成独立的库，在kqGIS平台中的地理数据库可与之对应，即KqGIS地理数据库中存储的各个简单要素类、栅格数据集等实体对象与基础地理空间数据中的各数据层、各投影带数据集直接对应，然后以这些简单要素类，栅格数据集等实体对象为基础，按分层和分幅的模式组织形成地图集。
图2-2数据库模型图
4.1.2数据库组织
在农业“一图”数据库中，根据数据的比例尺和数据类型，采取不同的比例尺结构进行管理。
针对不同比例尺数据的集成显示可采用投影转换方法来解决。
投影转换可以使某种坐标信息数据源向另一坐标系统转换，并对源数据中的X和Y值进行修改。
投影转换目的是为了处理专题数据与基础地理要素之间的空间关系；
处理专题要素之间的空间关系。
这样可以实现不同比例尺的基础地理数据源、专题数据源投影到同一空间参照系中。
农业“一图”数据库基于KqGIS平台采用Oracle+KqGIS-SDE的数据库存储模式。
KqGIS-SDE提供了面向对象的全关系数据模型GeoDatabase，GeoDatabase采用一种开放的数据结构将空间数据（矢量数据、栅格数据、影像数据、三维数据等）及其相关的属性数据统一存放在工业标准的数据库DBMS中，为空间数据的存储提供了数据集（矢量数据集、栅格数据集）、栅格数据目录、表格等数据模型。
要素数据集是地理数据库中具有相同空间参照系的要素类、对象类、关系类、注记类、修饰类、动态类、几何网络的集合；
在此基础上对上述的数据库组织模型采用资源的统一定位及描述方式，在形式上屏蔽因数据的分布式和异构性而造成的数据库逻辑数据源与数据库物理存储源之间差异，通过该统一的定位方式索引并取得层/幅交汇点处关联的数据对象，并通过规集成所需的基本元数据模式来实现数据资源的定位与描述。
在一个要素数据集下存放不同的类，有利于专题归类等情况下的数据组织。
栅格数据集用于管理具有相同空间参照系的一幅或多幅镶嵌而成的栅格影像数据，物理上真正实现数据的无缝存储，适合管理DEM等空间连续分布、频繁用于分析的栅格数据类型。
由于物理上的无缝拼接，因此以栅格数据集为基础的各种栅格数据空间分析具有速度快、精度较高的特点。
农业“一图”数据库中包含的数据库类型不尽相同，如矢量数据、栅格数据、影像数据、文本数据、表格数据等。
矢量数据要求保持对象的完整性，需要将矢量数据按照对象特征拼接成一个完整连续的数据集；
对高分辨率的影像数据，为了避免重采样引起数据信息丢失，需要将影像数据按投影带或者行政辖区围拼接成大的栅格数据集，大的栅格数据是连续无缝的。
1、矢量数据组织
（1）数据组织
依据矢量数据，将构建矢量数据库，数据容按照数据性质分为若干种数据集等，每一数据集又根据所含要素特征分为不同的数据类。
（2）空间索引设计
为了提高要素目标的检索速度，应对空间地理数据进行空间索引。
地理信息系统中的空间索引是相对于字段索引而言的。
字段索引是数据库系统或者其他计算机系统中提供键值快速定位的数据结构。
字段索引提供了对特定键值的数据快速访问的能力。
字段索引一般采用B树或者B树的衍生数据结构。
面向实体的空间数据库提供了四叉树索引、R树索引、图幅索引等多种空间数据索引。
本数据库系统中主要采用图幅索引。
在数据按实体分层存储后，按分幅建立数据的图幅索引，可大幅提升空间数据的存储以及分析的效率。
图幅索引是针对空间数据“纵向分层，横向分幅”的特点建立起的索引，对分幅数据效果很好。
比如国家标准比例尺地形图中按标准图幅分幅的数据，适合于按照图幅编号建立图幅索引。
2、遥感影像数据组织
高分辨率影像数据，为了加快浏览速度，可按照影像的分辨率、波段、坐标系或者行政辖区进行拼接。
现拟采用以县为单位拼接，若每个县区的数据波段数、分辨率、像元类型相同则拼合组成一个数据集，数据集的容连续无缝，若不同则分别按照波段数、分辨率、像元类型的方式单独进行拼接。
按照县区拼接生成的栅格数据集，采用的是金字塔索引方式，各数据围不同，金字塔索引级别也不相同，金字塔索引级数由数据存储自动生成。
4.2数据入库
系统拟引入工作流的思想，将建库过程抽象为不同的工作流程节点，对建库流程节点进行散列实现，使得建库过程可以搭建（增减节点，改变节点连接顺序）。
使用工作流引擎作为流程搭建平台，对建库流程的执行进行控制，并行上载的引入使得最大限度地利用现有资源来高效快捷的完成数据库的建库工作。
空间数据建库是个多任务的过程：
包含创建地理数据库、自动生成接图表、建库参数设置、数据索引生成、创建地图集结构、数据检查错误处理、数据上载、数据优化等主要环节。
基于工作流的空间数据库自动化建库技术，在工作流引擎平台上搭建建库流程，简化建库过程，提高建库效率。
通过对空间数据建库流程的分析，将建库过程拆分成不同的工作流节点，并对建库流程节点进行散列实现，使得建库流程可以搭建（增减节点，改变节点连接顺序）。
工作流引擎作为流程搭建平台，可以更为方便的控制建库流程的执行。
建库时，首先根据参数设置流程实现人机交互，获得参数信息，并永久化存储到XML文件中。
建库流程执行时，自动从保存的参数文件中获取建库参数，完成建库工作。
图2-4基于工作流的建库流程
（1）创建GDB
KqGIS地理数据库（GDB）作为存储矢量数据、高程数据、影像数据以及专题数据等的载体。
地理数据库GDB既可以通过KqGIS在本地创建，也可以在网络数据库中在Oracle中创建，所创建的库作为数据入库的目的库。
（2）创建地图集
采用地图集的方式统一管理各类数据，所创建的地图集需要设置地图集名称以及地图集空间参照系信息，地图集的名称用户可自定义，地图集的空间参考系需要和所上载的数据保持一致。
（3）创建图幅和图层
依据所生成的地图集，需要设置自动生成图幅的参数文件，同时将根据设置的矢量、DEM、影像等自动生成地图集图层信息，系统将根据所设置的信息生成地图集的图幅和图层。
（4）数据分析
数据分析包括数据的弧段、属性结构分析、图幅围分析、数据属性字段在网络数据库中的合法性等等。
矢量数据分析过程主要包括了以下容：
1）图幅围分析：
分析各个图幅对应的矩形框的围，记录到入库预处理报告中。
2）属性结构分析：
比较各个数据文件和标准文件的属性结构，将属性结构不一致的文件记录到数据分析日志中。
3）完整性分析：
分析数据文件的矩形围是否落在图幅矩形围部或重叠，如果是则获取当前图幅编号，并将数据文件信息以及图幅编号记录到数据上载索引文件中；
否则在数据分析日志中记录其空间围不在图幅索引。
当分类数据目录中所有的文件都分析完成后，分析数据缺少哪些图幅以及是否有多于两个数据文件落在同一个图幅，如果存在这种情况就记录日志。
（5）数据质量自动检查
在数据上载前，需要检查上载数据的合法性。
应该对在数据检查结果中属性结构不一致，空间位置重叠以及索引不在空间围的数据进行处理。
系统提供自动检查工具对属性结构不一致、空间位置重叠以及索引不在空间围的错误进行检查，并具备对检查出来的错误进行处理的方法。
（6）数据批量迁移
1）数据的批量迁移
支持多个文件的批量上载，同时支持多个进程的并行上载，大大提高数据迁移的速度和效率。
2）断点续传
系统在上载过程中，由于意外导致上载终止，支持断点继续上载。
在断点续传时，首先比较目的数据库与断点续传的数据库是否一致，不一致就不做断点续传，否则读取日志文件中数据上载最后一个文件，并在对应的简单要素类中删除该数据文件对应的图幅号的数据。
再继续完成后面数据的上载。
（如果数据上载成功以后，删除简单要素类，需要重新上载，系统自动查找在断点续传日志中的第一个数据对应的图幅号是否已经在目的简单要素类中，如果不在则直接对所有数据进行上载，否则实施断点续传）。
3）日志文件
以日志文件的形式记录各层类中数据文件的分析、质量检查以及最终的上载，统计整个入库预处理过程的文件总数、文件大小、用时统计以及数据上载过程中的用时、成功与否以及个数等。
（7）数据的符号化配置
按照所管理的数据类型，提供依照国家地理标准图式规的符号库，建立符号库、线型库等。
在上载数据的过程中，对属性GB字段进行统计，形成ginfo.xml文件，上载完数据以后，直接构造成包含与各GB值对应的图形参数表（mil、mip,mir），然后将各GB值对应的图形参数记录进行设置，完成数据的符号和颜色的自动化配置。
5“一图”数据管理应用系统
5.1数据预处理子系统
5.1.1数据转换模块
数据转换为数据入库前的预处理，目的是达到待入库数据能统一到规定的入库数据格式、坐标系统和投影系统。
数据转换模块通过支持各种数据之间的相互转换，保证数据之间的无损交互。
从而满足数据入库、数据交换、数据汇交等要求，同时系统支持各类数据的导入导出。
5.1.2数据检查模块
为保证综合数据库中数据实体的规性与精确性，数据检查功能实现对农业资源数据的自动质量检查与评价。
待整合的成果数据以及后续更新的数据均要在入库前进行质量检查。
数据检查以交互式和批量进行，支持多用户并行检查，基于检查的容和结果，形成容清晰、易于错误定位、提供一定错误修正指导的检查报告和部分统计评价结果。
根据数据整合技术要求，数据检查主要包括整体性检查、数据完整性检查、逻辑一致性检查、空间定位准确性检查、属性数据准确性检查、数据检查自定义、检查结果评价与处理。
5.1.3数据编辑与处理模块
按照用户权限，提供各类数据编辑与处理工具，在相关数据检查后辅助对错误数据进行修改编辑。
数据编辑与处理模块应包括数据错误的自动修改、矢量数据编辑处理、栅格数据处理、属性数据编辑。
5.1.4数据栅格化处理模块
为了向外部单位提供符合级别的数据并提高数据浏览速度，或为审批案卷添加图片格式的地图附件，应对矢量数据进行栅格化处理。
该模块的主要工作是将数据量较大的矢量数据通过便捷的格式转换处理成为小数据量的图片切片。
升级会员 