一体化运维监控数据融合分析与可视化系统需求参数公示.docx
《一体化运维监控数据融合分析与可视化系统需求参数公示.docx》由会员分享，可在线阅读，更多相关《一体化运维监控数据融合分析与可视化系统需求参数公示.docx（32页珍藏版）》请在冰点文库上搜索。
一体化运维监控数据融合分析与可视化系统需求参数公示
一体化运维监控数据融合分析与可视化系统需求参数公示
一、技术标准
（一）具体技术指标要求
1.平台功能指标有关的规划和目标
一体化运维监控数据融合分析与可视化系统（以下简称一体化运维监控系统）旨在建设基于大数据的网络教育运维监控管理平台，按需收集网络教育平台各业务系统运行数据和底层基础设施状态数据，经融合后形成网络教育教学管维基础数据库，在此基础上通过先进的数据可视化技术展示各业务系统的学习态势以及各硬件支撑平台（基础设施）的综合性能与效率指标。
2.本项目采购的主要内容
本次采购主要包括数据采集系统、数据填报系统、数据计算与存储系统、数据管理系统、数据分析系统、数据可视化系统、门户系统以及相关的定制化内容。
采购指标主要包括功能性内容指标和非功能性内容指标。
功能性内容指标详见2.1，主要针对规划中初步明确的建设内容和要求。
非功能性指标详见2.2，主要从安全性、稳定性、扩展性、人员投入工作量、技术先进性等方面提出相关要求。
2.1功能性内容指标
2.1.1总体需求
采用成熟的、主流的大数据技术，建设面向分析决策的网络教育大数据基础支撑平台，提供完备的数据采集、存储、交换、建模、管理、分析和可视化服务，具备权限控制、安全访问等系统管控能力，集成网络教育平台多个业务系统数据，融合网络教育线上线下学习数据和底层基础设施数据，支持网络教育大数据可视化分析挖掘、大屏展示和运维管理。
2.1.2功能内容
一体化运维监控系统主要建设数据采集系统、数据填报系统、数据计算和存储系统、数据管理系统、数据分析系统、数据可视化系统和门户系统以及相关的定制化内容。
对各系统的系统描述、功能要求、性能要求描述如下。
（各功能点纳入技术评分，标★项目为重要响应项，纳入技术测试和演示）
2.1.2.1数据采集系统
系统功能
需求
备注
系统描述
系统需采集来自三个网络隔离的网络教育平台及相关支撑系统的数据（甲方先期已建设了数据单向传输系统），所有数据源总占用存储空间大概20TB，单表最大存储超过10亿条数据。
功能要求
关系数据库采集
支持MySQL、Oracle、SQLServer、PostgreSQL等数据库；
支持达梦等国产数据库。
NoSQL数据库采集
支持MongoDB、Elasticsearch、Redis等NoSQL数据库采集。
大数据采集
支持大数据平台数据源，包括Hadoop、HIVE、HBASE等采集。
实时数据采集
支持Flume、Kafka等流式数据/日志数据采集。
文件数据采集
支持普通文本、CSV、Excel等文档格式。
文件系统采集
支持对FTP、FTPS等文件服务器的文件采集。
接口数据采集
支持如API接口、URL接口、WebService接口等，供第三方接口调用。
增量式采集
支持触发器方式、时间戳方式和全表比对方式增量采集。
可视化ETL流程设计
支持拖拽式流程设计，涵盖ETL全过程，提供多种数据接入、转换和输出组件，用所见即所得的方式设计数据采集流程。
★
任务调度管理
支持单次任务、周期任务和依赖关系的任务，可设置任务调度策略和失败处理策略；
支持对任务的状态监控、报警、日志和统计功能；
支持监控任务执行过程中的服务器计算资源消耗。
★
日志管理
支持数据采集任务调度日志的生成和管理。
2.1.2.2数据填报系统
系统功能
需求
备注
系统描述
数据填报系统面向甲方单位和各级业务管理单位提供个性化报表定制、填报和报表生成服务。
针对不同任务需求，为下级机构建立填报任务表单，并自上而下逐级分发至基层，各级自下而上逐级上报、审核。
支持对填报任务执行情况进行监控，并生成日志报表。
数据填报系统需定制开发部分甲方业务内容，包括但不限于项目建设进度填报、各级线下学习数据填报、课程资源建设进度填报、人员管理信息填报和教育质量报告数据填报等。
①项目建设进度填报。
支持下级机构逐级填报网络教育平台规划建设任务的完成进度，包括网络教室、图书室、学习系统等学习条件建设进度，以及各单位网络教育平台建设进度等数据。
要求填报汇总的数据须与网络教育平台对接。
②各级线下学习数据填报。
支持各级机构定期录入所开展的线下学习活动数据，包括组织单位、负责人、活动场地、活动主题、参与人数以及图片、报告等非结构化数据。
③课程资源建设进度填报。
支持录入各课程建设单位、负责人、联系方式、课程基本信息等，各课程建设单位在相关管理机构的指导下，定期逐级填报、审核、提交课程建设进展情况，含课程资源建设数量、建设内容完成百分比、所处审批阶段等。
要求填报汇总的数据须与网络教育平台对接。
④人员管理信息填报。
支持填报人员基础信息，包括人员单位、职务、姓名、电话、地址等信息。
⑤教育质量报告数据填报。
支撑年度教育质量报告数据采集工作，支持设置人员机构层级、创建填报表单、定义数据标准规范、各级填报教育质量报告数据、汇总校验各级填报数据、输出统计分析表单等。
功能要求
填报表单设计
支持基于多种填报控件组件的自由式表单设计，支持表格绘制、多种单元格编辑等；
支持从Excel文件导入表样，内置公式编辑引擎；
每个报表表元对应的数据库字段名应支持可视化设置。
★
数据处理
软件具有快速的计算能力，并支持多种运算，如表内部、表与表之间的运算，并支持舍位平衡。
多样数据采集
支持在线人工填报、从其他数据库取数；
支持批量导入、数据库对接、网络传输、文件传输。
离线数据采集
支持将填报表单中需填报的内容导出为Excel模板进行离线人工填报，然后再批量的导入。
报送频率
支持年报、月报、周报、日报以及用户自定义的报送频率。
支持为每个填报任务设置填报提醒。
可视化填报流程设计
支持顺序、并行、同步、分支、合并等多种采集业务工作流模式，可通过图形化编辑界面设计流程；
支持流程发起、办理、审批、转办、数据审核等业务操作。
集群部署
提供二次开发接口，支持通过web接口对系统进行定制修改和功能扩展。
支持与其他业务系统无缝集成，支持单点登录、权限同步；
支持集群部署
打印功能
支持所见即所得的打印，支持分页打印和多表打印。
报表汇总
支持数据逐层汇总、按条件汇总、按关键字汇总等。
权限管理
支持功能权限定义、数据权限、角色管理授权等。
版本管理
支持历史版本报表调取查看。
★
工作审批
支持工作流审批流程和自定义审批流程，可以通过图形化的界面进行审批流程的定义，支持多人审批，可以自定义审批规则。
能够实时跟踪审批流程的进展，运行情况，及运行效率。
地址引用与集成
软件设计出的填报页面、数据查询管理页面，都应该能将各自的独立URL地址提供出来，能独立使用或者融入到其他第三方系统中去，增加数据填报和数据查询入口的多样性。
数据审核
软件应提供严格的审核及数据校验机制，支持手动审核、自动审核、分级审核。
其它要求
单点登陆最大并发会话数>1000,最大在线会话数>10000。
2.1.2.3数据计算和存储系统
系统功能
需求
备注
系统描述
数据计算和存储系统基于业界主流大数据平台定制开发，提供多种类型的大数据计算方式，用于支持数据仓库构建和海量数据分析；提供先进的分布式存储系统，加快查询检索类响应速度。
功能要求
融合计算引擎
支持关系型数据库、分布式数据库、NoSQL数据库、文件系统、HIVE、HBase等数据源的在线计算。
★
分布式数据仓库
支持构建分布式数据仓库，提供统一访问与操作接口；
支持面向数据集市主题模型（星型模型、雪花模型）。
图形化任务编排
支持图形化任务设计与编排，物化视图的智能调度。
实时计算处理
支持面向数据流的实时计算任务配置、监控和管理。
NoSQL数据库
支持按指定字段创建局部索引和全局索引，并支持智能索引技术（无需在查询语句中显式声明指定索引）。
数据检索
支持快速数据检索，支持通过SQL对文本数据进行关键词检索，支持检索结果的关键词高亮显示，支持检索结果打分时指定权重。
弹性扩展支持
支持按需添加服务器扩展性能。
可视化运维
支持基于Web的运维界面，监控集群状态，管理集群节点。
其它要求
3亿条结构化数据的简单查询统计响应时间<5秒。
★
2.1.2.4数据管理系统
系统功能
需求
备注
系统描述
数据管理系统基于采集的各类数据，提供体系化建模及研发功能，将数据仓库理论以工具化半自动化实现，自顶向下快速构建业务维度、业务过程，并进一步细化开发数据集市，沉淀标准统一的数据资产，与合作单位开展数据共享交换，实现数据资产价值的最大化。
具体包含如下五个方面的内容
①数据质量管理：
系统提供数据质量检查规则设计功能，能够自动检查与规则冲突的数据并及时报警，将报警信息推送到第三方客户服务支持系统，并定期生成数据质量报告。
②数据仓库建设：
从数据计算和存储系统获取采集自三个网络隔离的网络教育平台及相关支撑系统的数据，经过清洗、加载和转换等操作后，分类设计数据仓库，围绕具体业务需求，构建数据集市，涵盖人员信息、资源信息、学习成效、管理信息、系统运维等不少于40个主题。
③数据资产管理：
对系统对接的学习态势、资源建设和基础设施运行状态等关键数据，发现、整理、分类、编目，形成面向业务的数据资产，生成图形化数据资产目录。
④数据资产共享：
通过文件、程序接口等方式，按照一定的授权和审批模式，将数据资产共享给合作单位，可按需拉取合作单位开放共享数据，实现数据价值的最大化。
可对数据共享的日志进行查看和统计分析。
⑤数据资产安全：
保障资产的交换安全，实现核心数据的按需加密。
功能要求
多种数据源接入
支持主流关系型数据库，包括MySQL、Oracle、SQLServer、PostgreSQL等；
支持NoSQL数据库，包括MongoDB、Elasticsearch、Redis等；
支持MPP数据库；
支持大数据平台数据源，包括Hadoop、HIVE、HBASE；
支持基于开源ETL工具的数据源，如kettle；
支持接口数据源，通过web接口采集数据。
数据仓库建模
支持SQL、引用库表、虚拟表、文件、ETL等方式创建数据仓库主题表；
支持单级维、多级维、通用维、螺旋维等多种维表创建方式；
支持导入pdm或Erwin等创建方式。
元数据管理
支持元数据模糊检索、高级搜索，高级搜索能够按关键字进行查询；
支持对元数据各种数据以及变更和关联情况进行监控；
支持业务元数据、技术元数据、管理元数据的统一管理与存储；
支持血缘分析、影响分析、全链分析等元数据分析功能，提供图形展示界面；
支持元数据一致性、完整性、唯一性及准确性校验等；
支持可视化数据图形展示。
数据标准管理
支持数据标准集属性定义，包括但不限于：
业务属性、技术属性、管理属性、质量属性、生命周期属性；
支持在系统中建立数据标准，支持标准Excel导入导出，支持从元数据拾取批量新建标准。
数据质量管理
支持数据质量检测规则配置；
支持图形化组件库构建数据质量流程；
支持构建质量评估模型，量化数据质量；
支持数据质量报告生成。
数据资产管理
支持数据资产全生命周期管理；
支持数据资产可视化呈现。
★
数据共享服务
支持零编码图形化界面的服务发布、审核与共享。
支持结构化和非结构化数据共享；
支持数据推送至目标源和请求方调用接口获取数据；
支持restfulAPI服务调用；
支持文件下载数据；
支持数据共享服务监控；
支持数据共享权限配置。
★
数据安全管理
支持设置敏感数据、敏感标签、敏感级别设置，并对敏感数据进行识别；
支持对平台自身数据资产进行加密；
支持基于安全认证的数据资源管理和访问管理。
支持基于角色进行菜单操作功能权限管理；
支持基于用户和角色的元数据授权功能。
★
2.1.2.5数据分析系统
系统功能
需求
备注
系统描述
提供自助式、探索式的数据分析能力，定制开发面向工作业务需要的分析系统，包含如下内容：
①运营分析业务：
具备可视化的分析探索界面，支持鼠标拖拽等方式生成分析界面，开展多维统计分析。
例行工作周期性报表输出：
根据具体业务需求，实现业务日报、周报的定时输出。
②管理决策业务：
按照具体业务需要定制分析报告，实现报告模板化，可定期更新数据自动生成Word、PPT和PDF格式的报告，包括但不限于学习者自主学习分析报告、课程运行情况分析报告、学习小组分析报告、学院教学监测分析报告和平台总体教学态势分析报告。
③科研支撑业务：
采用数据挖掘方法开发面向学习者和课程的分析系统。
包括：
1）学习者用户画像数据分析：
通过分析学习者一定时期的课程学习情况，挖掘学习者的兴趣爱好、学习习惯、学习目标，生成个性化的用户画像数据，为教育资源推送提供依据。
2）课程关系网络分析：
通过分析课程之间的选课数据，分析课程之间的先修关系、相关关系、依赖关系等特征，构建基于网络的课程关系图，为课程知识图谱提供支撑。
3）学习小组学习趋势分析。
分析学习小组多个成员的课程学习行为历史记录，挖掘近期学习热点和趋势，为掌握各单位学习情况提供支撑。
功能要求
多源数据接入
支持MySQL、Oracle、SQLServer、PostgreSQL关系型数据库；
支持NoSQL数据库，包括MongoDB、Elasticsearch、Redis等；
支持大数据平台数据源，包括Hadoop、HIVE、HBASE；
支持MPP数据库；
支持文件接口数据，如Excel和Text。
业务数据集管理
支持数据分类、管理和权限配置。
实时数据处理
支持大数据流处理技术，支持秒级数据分析。
智能图表推荐
支持根据用户配置的维度和指标智能推荐适合的图表。
数据多维分析
支持OLAP分析，支持维度选择、指标选择和图表选择等；
支持即席敏捷报告生成、拖拽式多维分析。
★
自助探索分析
支持自定义计算规则，快速构建维度和度量指标；
支持数据过滤、特征配置和多级排序；
支持多种分析算法，如比对分析、统计分析、时序分析、机器学习分析等。
★
支持自定义编写Python脚本进行数据分析。
复杂报表编排
支持复杂报表、段落明细表、分组统计表等。
决策报表设计
支持所见即所得的图文混排报表编排；
支持多样交互组件，包括统计图、文本、标签、图片等；
支持事件处理，实现图表联动、图表下钻、图表定时更新等业务；
支持报表发布推送。
★
表内计算
软件支持内存计算、跨库计算，在不同数据库（甚至是异构数据库）中的数据，也能在一起进行各种分析。
报表推送和共享
通过门户推送、邮件推送、报表订阅等方式实现报表和报告的分享交换。
报表第三方系统集成
实现与其他第三方业务系统的集成和统一身份认证，保证其他系统能调用报表。
分析报告生成
支持Word式分析报告设计和生成；
支持PPT式分析报告设计和生成；
支持PDF式分析报告设计和生成；
支持自由布局式分析报告设计和生成。
★
其它要求
基础数据分析服务响应速度<5秒。
单点登陆最大并发会话数>1000,最大在线会话数>10000。
2.1.2.6数据可视化系统
系统功能
需求
备注
系统描述
数据可视化系统基于网络教育学习态势、基础设施运行、教学配套条件使用等数据，基于成熟的可视化软件平台产品定制开发至少10个数据大屏的可视化呈现，要求风格统一、界面美观、交互手段丰富、科技感强，包含动态展示效果、立体展现手段、典型可视化分析图表等，易于用户单位根据自身需求修改。
具体如下：
①综合实时态势展示。
深度融合三个网络隔离的网络教育平台及相关支撑系统流式数据，实时计算展示可视化评价指标，含实时在线人数、实时活跃资源情况、用户来源地图流向和区域热点、底层计算设施负载运行态势等要素，呈现业务平台实时态势，并可对大屏进行交互，展开各指标的下级二级指标。
②学习群体学习态势展示。
融合三个网络教育平台一定时期内的用户学习数据，经统计分析后展示学习者关键评价指标，含活跃用户数、考试结业人数、人均考试通过率、人均在线时长等数字指标，以及每日活跃人数、每日资源访问情况等趋势数据指标，具备按人员来源单位钻取的能力，并在大屏中央随机展示综合学习排名靠前的某学习者的用户画像。
③教育资源运行态势展示。
融合三个网络教育平台的教育资源建设和使用数据，经统计分析后展示教育资源相关的关键指标，含资源上线数、资源建设数、热门资源排名、用户单位人均学习人数等数据指标，具备按资源建设单位进行钻取、联动的能力。
④系统运维综合态势展示。
融合相关支撑系统的运行数据，经统计分析后展示系统相关的关键指标，含服务器负载、网络带宽、缓存命中率、应用系统异常报警、监控视频在线率等数据指标以及按一定时期发展的趋势指标，具备按系统来源钻取的能力。
⑤网络教育平台一运行态势。
展示近期活跃用户的总人数、人员类别数、单位人数，用户来源地图区域热点，以及人均在线时长、人均考试通过率，每日活跃人数等指标，具备按单位、地域钻取的能力。
⑥网络教育平台二运行态势。
展示近期活跃用户的总人数、人员类别数、单位人数，用户来源地图区域热点，以及人均在线时长、人均考试通过率，每日活跃人数等指标，具备按单位、地域钻取的能力。
⑦网络教育平台三运行态势。
展示近期活跃用户的总人数、总资源访问次数、时间维度的人员在线趋势、热门教育资源排名、云服务中心负载、网络安全等指标。
⑧网络运行态势。
展示网络节点分布和资源加速指标，含节点数、建设数等数据指标，节点部署地域地图、时间维度服务人数、资源访问次数、缓存命中率趋势等指标，具备按照单位、地图钻取的能力。
⑨云数据中心运行态势。
实时展示数据中心服务器负载、网络、温度、湿度、电力等指标。
⑩监管系统运行态势。
以展示实时监控视频为主，辅以系统近期考试人数指标、每日考试人数趋势等指标，具备对任意监控视频调取查看的能力。
功能要求
多数据源接入
支持MySQL、Oracle、SQLServer、PostgreSQL关系型数据库；
支持NoSQL数据库，包括MongoDB、Elasticsearch、Redis等；
支持大数据平台数据源，包括Hadoop、HIVE、HBASE；
支持MPP数据库；
支持文件接口数据，如Excel和CSV；
支持第三方API接口接入能力。
多样可视化组件
支持常用的统计图类型和样式，包括柱状图、线状图、条形图、面积图、饼图、点图、仪表盘、走势图，以及高级图表，比如流向图、词云图、和弦图。
自由画布布局
支持拖拽组件布局，支持对齐辅助和边线吸附功能；
支持页面分辨率自适应。
★
动态视觉效果
内置动态视觉装饰效果，3D特效组件不低于百种。
★
离线地图数据可视化
无需连接互联网展示地图
支持全国、省、市三级分布地图；
支持迁移、流向场景的矢量地图；
支持大数据标注图形；
支持矢量热力图展示密度数据。
★
数据交互设计
支持通过Web事件响应（如鼠标事件等）和参数WebUI组件（按钮、下拉列表、复选框等）实现复杂交互场景。
★
内置模板库
内置行业流行的工程模板和布局模板。
权限管理
支持用户、角色、权限三级权限粒度管理。
其它要求
大屏实时数据更新延迟时间<2秒。
根据硬件分辨率定制高清大屏。
可视化组件可编辑源代码，自定义组件的外观、功能等。
★
2.1.2.7门户系统
系统功能
需求
备注
系统描述
建立B/S架构的门户服务系统，提供各个子系统/分系统的操作入口，具备用户权限管理、统一身份认证、角色权限控制等功能，能够设置和授权用户对各子系统以及数据资源的访问权限，包括机构管理、用户管理、角色管理、用户授权等。
功能要求
统一门户入口
建立B/S架构的门户服务系统，提供各个子系统/分系统的操作入口。
★
身份认证
提供统一身份认证，支持各个子系统、分系统单点登录。
各系统之间切换，无需二次登录。
用户管理
支持统一用户权限管理；
支持用户角色设置。
权限管理
支持用户、角色、权限三级权限粒度管理。
2.2非功能性指标
非功能性需求
内容
人员投入度
由于项目具有的保密属性，以及较多的大数据分析治理环节，投标人需承诺确保至少50人月的工作量投入，用于数据仓库构建、数据可视化大屏定制开发、数据分析建模以及系统集成等定制开发工作。
响应时间要求
系统的响应速度应从以下方面确定标准：
①响应速度不致影响业务工作、造成业务工作的低效率；
②通常情况下，单笔实时处理时间<5秒。
易用性
①所有的功能界面风格和操作流程一致；
②有上下文相关的帮助信息。
可靠性
应保证在正常情况下和极端情况下业务逻辑的正确性。
投标人在软件的成熟性、容错性、易恢复性等方面满足下述要求：
①本系统应保证业务逻辑的正确性，避免由软件故障导致的失效；
②采用成熟的、经过严格测试的通用组件，减少系统差错；
③在软件发生失效的情况下，软件应容易重建规定的性能级别并恢复受直接影响的数据；
④当系统在高负荷运转或出现故障，必须采用可靠的机制，保证数据的零丢失。
可用性
①必须避免由于单点故障或系统的升级而影响整个系统的正常运行；
②支持故障转移和负载均衡。
单个物理设备、模块、组件故障不影响系统运行，并能支持故障转移和负载均衡；
③能够对资源的性能和负荷的峰值进行限制和管理，控制用户数或者负荷的无限制扩张，防止出现响应时间过长和拒绝服务。
可维护性
①软件能够被简单方便的修改和升级。
包含可读性、可修改性、可测试性等；
②必须在设计上保护用户身份的安全、实现功能和数据权限。
安全性
系统必须符合有关安全性要求；包括平台和系统运行安全、信息和数据访问及存储安全、设备和系统运行监控等。
可扩展性
在设计上必须具有适应业务变化的能力，当系统新增业务功能或现有业务功能改变时，应尽可能的保证业务变化造成的影响局部化。
账号打通
一体化运维监控系统用户账号需与招标方原网络教育平台账号打通，可实现网络教育平台与一体化运维监控系统之间单点登录。
（二）样品要求
投标人需确保样品具有自主知识产权或基于开源产品深度定制开发并提供应用案例（提供佐证材料），不得简单使用开源产品作为解决方案。
投标人应在开标前提供样品并且参加需求方组织的原型系统（样品）现场技术测试，测试结果作为技术评分的参考依据。
测试依据见“一体化运维监控数据融合分析与可视化系统采购项目技术测试方案”。
（三）实施人员要求
投标人需确保至少50人月的工作量投入，实施人员需包含数据ETL工程师、BI建模工程师、数仓工程师和数据大屏实施工程师等研发类岗位人员，同时考虑到项目技术先进性有关要求，应包括项目负责人和项目经理。
各岗位人员需平均具备3年以上工作经验。
各类人员的工作内容如下表所示。
序号
实施人员
工作内容
1
项目负责人
主要负责项目整体统筹和组织实施，包括总体需求把控、设计方案审查、项目质量全程监控、项目进度目标落实等。
2
项目经理
负责项目实行质量、安全、进度；负责项目管理工作方案、项目实施进度周报、月报的撰写和提报。
3
数据ETL工程师
负责数据ETL
升级会员 