高校大大数据实验室建设解决方案设计Word文档格式.docx
《高校大大数据实验室建设解决方案设计Word文档格式.docx》由会员分享，可在线阅读，更多相关《高校大大数据实验室建设解决方案设计Word文档格式.docx（16页珍藏版）》请在冰点文库上搜索。
提供行业数据与案例解剖用于根底研究，提供数据分析方案与流程，提供数据更新接口，可以对行业数据进展分析统计，按需求生成数据报表，为科研工作提供数据支撑。
例如某地区经济数据分析、股市数据分析、全国地震数据分析、食品价格行业数据分析等。
三、建设规模
按照60台大数据实验机容量进展同时在线使用进展建设为根底，整体系统提供快速扩容升级服务。
四、硬件配置
采用十六台高性能品牌服务器作为大数据节点进展建设，采用企业级全千兆三层交换机进展网络数据交换。
每台节点的配置如下：
处理器
每节点支持2个英特尔®
至强®
处理器E5-2650CPU
高速缓存
15MB
QPI总线速率
内存
提供12个内存插槽，标配192G内存，
支持高级内存纠错，内存镜像，内存热备等高级功能
磁盘
标配4块3TBSATA硬盘
标配2块120GSSD硬盘
300G10000转SAS系统盘
网络控制器
集成1个高性能千兆以太网控制器〔双口〕，支持虚拟化加速，网络加速，负载均衡，冗余等高级功能
电源
标配大功率高效白金级电源，1+1冗余
虚拟化技术
支持VMwarevSphere、Docker、OpenStack等
五、软件平台介绍
1、大数据教学管理系统
1.1专业管理
提供对专业信息的增加、删除、修改、查询功能。
1.2班级管理
提供对专业下属班级的增加、删除、修改、查询功能。
1.3学生管理
提供对班级内学生的管理，学生内容包含某某、学号、所属班级、所属专业、联系手机、登录次数等内容。
1.4交流日志查阅
对实验机分享交流的内容进展查询，包含交流IP、相关学员、相关教师、实验机编号、交流内容等内容。
1.5成绩管理
对于学习中心在线学习的学习考核成绩进展管理，包含查询与删除等功能。
1.6学习记录
提供每个学生在学习中心平台内学习课程的学习记录，包含日期、计划、课程、章节、学习IP等。
1.7学习行为报表
对所有学生的课程学习记录进展统计，包含个体统计、班级统计、全体统计等。
1.8课程管理
对学习课程进展查询、修改、删除等操作。
1.9开通课程计划
对于学习开课计划的字段内容包含计划名称、授课讲师、授课时间段、开通状态、允许申请周期，允许申请人数等，功能提供绑定课程计划相关实训平台课程、授课助教、云实验机绑定、实验任务绑定等功能。
1.10课程测验习题管理
提供对课程相关的习题管理，题型包含单项选择、多项选择、判断题等类型，对习题进展增、册、改、查操作。
1.11分级权限功能
系统分为总管理员、助教等二级管理角色，总管理员进展管理所有的功能点，助教可以进展班级管理、学生管理、开课计划制作、实验机远程协助等。
1.12学生实训系统
提供学生根据某某、学号、密码登录系统进展实训操作，学生只需安装浏览即可进展实验任务操作；
提供实训课程在线学习功能、实验机在线操作、实验报告提交、实验机界面截图、记录课程学习时长等。
1.13实验机桌面分享
提供实验机桌面分享功能，如学生在学习、操作云实验机的过程中，有问题可以向教师发起协助请求，助教在收到请求时，可以远程访问学生的实验机，并指导如何操作。
2、云实验机与实验任务
2
2.1云实验机
提供基于Web浏览器的实验机可视化操作，操作终端无需安装其它开发软件即可进展实验操作；
云实验机可以根据学生编号、实验任务和环境要求自动创建，无需管理人员参与实验机创建操作过程。
管理平台对云实验机可以进展停止、销毁操作。
2.2云实验机集群管理功能
提供云实验机集群管理，对实验机所属服务器进展新增、删除等操作。
2.3云实验机类型
包含Hadoop实验机、Hive实验机、HBase实验机、R语言实验机、Scala实验机、Spark实验机、Kafka实验机、Sqoop实验机、Flume实验机、数据可视化实验机等。
2.4实验机运行监控系统
系统提供对实验集群运行的所有实验机进展监控，可以查询编号、所属服务器、创建时间、运行状态、开放端口等内容。
2.5实验任务管理
提供对实验任务内容的管理，包含任务课程、绑定实验机、设定任务成绩总分，排序值等，提供多种实验任务内容，例如Hadoop实验任务、Hive实验任务、HBase实验任务、Flume与kafka实验任务等。
2.6实验报告审阅功能
在实验任务过程中学生上交的任务报告进展审阅评分，提供按照学生、实验任务等字段进展检索功能。
2.7云实验机桌面分享系统
提供实验机桌面基于浏览器的分享功能，允许学生与学生、学生与教师同步操作实验机桌面系统，提供基于浏览器的交流功能。
3、大数据实战平台系统
3
3.1大数据集群管理系统
基于分布式集群管理系统，提供大数据集群管理系统，功能包含Hadoop、Hive、HBase、Sqoop、Flume、Spark等节点部属与管理，提供实时监控集群的CPU、内存、硬盘等使用率与相关信息，可以对管理节点、计算节点进展启动、停止等操作管理。
3.2大数据作业工作流系统
提供大数据相关作业的上传、部属、流程管理等功能，基于Web的任务调度、兼容Hadoop、Spark主流版本、失败任务的、运行状态监控等。
六、大数据课程与行业案例
实验平台提供100个课时的Hadoop、Spark等大数据主流课程，课程与大数据实验机完美结合，学员在教学管理系统学习课程，随时进展实训操作，包含项目设计、数据采集、清洗、建模、技术实现等，快速提升实操技能，最终掌握大数据开发、数据分析与数据挖掘等大数据能力。
局部案例图片：
【电商大数据分析案例】
【电商大数据分析架构】
【房产大数据分析架构】
【房产大数据分析可视化】
【搜索大数据分析架构】
【日志大数据分析架构】
课程实验内容包含：
课程名称
课时
课程内容介绍
Hadoop根底
10
讲解Hadoop生态系统，包括操作与开发；
详细讲解HDFS和Map-Reduce的功能与作用；
了解MapReduce原理、运行流程、压缩数据处理、作业调度、计算器等环节。
HDFS程序开发
6
讲解Hadoop文件系统HDFSJAVAAPI的使用。
掌握如何使用HDFSJavaAPI，读写文件、读写目录、以与对文件进展压缩处理等。
MapReduce开发
本课程针对HadoopMapReduce开发进展讲解。
课程以案例为根底，重点介绍MapReduce程序结构，以与如何使用MapReduce进展数据统计，去重，排序，Map端Join，Reduce端Join等关联操作，掌握MapReduce处理过程。
Hive数据仓库
24
Hive是基于Hadoop构建的数据仓库分析系统，通过学习掌握Hive的函数、Hive数据的加载、Hive的DDL操作、自定义函数〔UDF〕等内容，达到使用Hive进展查询、汇总、分析数据的能力。
分布式数据库HBase
HBase是Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；
通过学习对HBase表设计、表操作、数据操作、JavaAPI等内容，掌握对HBase系统的开发与使用。
数据迁移工具Sqoop
4
Sqoop是关系型数据库和Hadoop生态系统之间进展数据转换的主要工具；
通过学习将mysql中的数据导入到hdfs中、将数据导入到HBase中、定义导入导出任务等，掌握对数据迁移的能力。
分布式日志框架Flume
Flume对海量日志进展采集、聚合和传输的主流大数据工具；
课程内容包含Flume应用场景、FlumeNG、FlumeOG、Flume的核心组件、Flume的架构、Flume的source、sink配置说明等。
Kafka流式数据采集
Kafka是分布式的消息队列，广泛应用于实时数据处理。
学习内容包含Kafka的体系结构、安装模式与安装部署、Topic、Producer、Consumer、发布订阅消息以与KafkaJAVA开发等。
Spark
Spark是一款高性能的分布式计算框架，比MapReduce计算快百倍；
本课程内容全面涵盖了Spark生态系统、Spark与Hadoop比照、开发环境搭建、RDD、编程模型、Web监控等内容。
SparkStreaming
SparkStreaming是用户结合流式、批处理和交互式查询应用的实时计算框架；
本课程内容详细讲解原理与特点、适用场景、Dstream操作、容错、性能优化和内存优化等。
SparkSQL
SparkSQL的出现，使得SQL-on-Hadoop的性能相对于Hive有了显著的提高。
达到Spark兼容Hive的功能。
本课程详细讲解特点、运行架构、数据源、数据缓存、DataFrame等。
实战案例
搜索引擎日志
数据统计分析
讲解Hadoop系统架构设计以与项目分析流程；
通过对用户搜索记录数据的清洗，分析指标内容，得出关键词排行榜、用户停留时间最高页面等。
电子商务平台
大数据分析
讲解Spark系统架构设计以与项目分析流程；
本课程主要讲解搭建电商的数据处理平台、数据统计、分析与可视化技术的应用开发流程。
七、行业数据与案例
提供大数据实战案例以与行业数据，提供包含海量日志分析案例、租房与二手房大数据分析案例、电商商品交易大数据挖掘、搜索引擎关键词分析算法案例、汽车销售数据分析案例等案例讲解与实战作业工作流内容。
数据名称
数据描述
更新
地区房产数据
包含二手房在售数据、出租房屋数据、经纪人评价数据等。
每周
全国汽车数据
包含国内不同种类汽车详细配置信息、汽车使用评论数据、汽车销售数据以与二手车数据等。
可用于汽车行业市场行情分析。
每月
法律咨询数据
包含国内所有法律咨询服务机构数据、机构评论数据、有关法律咨询话题的数据。
可用于法律咨询行业市场行情分析，社会治安情况分析。
疾病问答数据
包含国内不同种类疾病问题数据、医生回复数据、有关疾病常识等话题的数据。
股票基金交易数据
包含国内、港股、美股等国内外股票行情与交易数据、按照时间段提供详细数据；
也包含证券投资基金、保险基金、信托投资基金等行情数据。
每日
天气、气象数据
包含全国各个地区气象数据〔气温、降水量、风、气压等〕、气象观测产品数据。
可用于气象业务、天气预报、气候预测以与气象服务。
人脸图像数据
包含国内多种年龄段的人脸图像数据。
用于脸部特征分析、人脸识别、人脸检测等，每个人提供多个角度的图片。
电商评价数据
包含上百万条国内知名电商平台产品评价数据。
可用于用户购置产品意愿分析、个性化推荐和精准营销，进展商业舆情监控和产品的市场行情分析。
生鲜食品价格数据
包含历年市蔬菜、水果、肉禽蛋、水产等生鲜食品的最低价、最高价以与平均价以与最新价格。
利用大数据可进展生鲜食品行业分析。
搜索引擎访问日志数据
包含用户搜索记录数据。
通过对用户搜索记录的分析，可以分析用户行为特征，构建广告点击模型。
海量访问日志数据
包含海量用户访问的日志数据。
通过对日志的分析，我们可以知道获取每类页面的PV值〔PageView，页面访问量〕、独立IP数，哪个网页最有价值等。
八、安装配置
2、大数据实战集群与案例
升级会员 