关于大数据的毕业论文（范文2篇）文档格式.docx
《关于大数据的毕业论文（范文2篇）文档格式.docx》由会员分享，可在线阅读，更多相关《关于大数据的毕业论文（范文2篇）文档格式.docx（29页珍藏版）》请在冰点文库上搜索。
The
first
proposed
the
advent
of
era
big
data
is
world-renowned
consulting
firm
McKinsey,
McKinsey
said:
“data
has
penetrated
into
every
field
today’s
industries
and
business
functions
become
an
important
factor
of
production.People
for
massive
mining
use,
indicates
a
new
wave
productivity
growth
arrival
consumer
surplus.”“Big
in
physics,
biology,
environmental
ecology,
military
affairs,
finance,
communication,
et
C.industry
exist
there
are
days,
but
because
development
Internet
and
information
industry
recent
years
cause
people
concern.
Key
words
Big
education
College
reform
目录
4
1、大数据的由来
................................................................................................
.............................、大数据带给我们的改变
.............、大数据的最新动态
.....................、在大数据时代下教育的改革
.....、在大时代下，学生应该学习的技能知识
.................................................................................4
5.1
Hadoop
.........................................................................................
.....................................2
HPCC
...........................................................................................
.....................................3
Storm
....................................4
Apache
Drill
.............................................................................................
.......................5
RapidMiner
.................................................................................
......................................6
Pentaho
BI
.................................................................................................
5
.......................、大数据的未来以及学生的未来
.................................................................................................
8
6.1国家政策下的未来发展
...2未来学生的发展
..............9
1、大数据的由来
大数据用于描述这样的数据组，其规模超出了日常软件在可容忍期限内获取、管理和加工数据的能力。
一些网络技术领先的公司持续地投资于昂贵的大数据技术，成效显著。
大数据使得创新型公司变成了经营新方法的率先接受者，经营更为成功。
通过大数据的分析挖掘，公司可以发现新的经营模式，对工艺加以改进。
例如，在获悉消费者行为后，可以将发现用于某些改变，如降低成本或增加销售，就会产生价值。
在任意大的数据组中应用统计方法可以发现有用信息，将这些信息商业化即可获益。
6
2、大数据带给我们的改变
大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，引发思维变革、商业变革和管理变革。
大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系，颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。
大数据的核心就是预测。
大数据将为人类的生活创造前所未有的可量化的维度。
大量展示了谷歌、微软、亚马逊、IBM
、苹果、facebook
、twitter
、VISA等大数据先锋们最具价值的应用案例。
”
在未来的世界里我们将活着一个透明的世界里，我们的动态，行踪都可以由数据组成，所有企业的经营模式，服务模式，都将发生改变，但请别害怕，你要相信所有新技术的产生都是为了让我们的生活更方面，更快捷
3、大数据的最新动态
大数据最核心的价值就是在于对于海量数据进行存储和分析。
相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。
借着大数据时代的热潮，微软公司生产了一款数据驱动的
7软件，主要是为工
程建设节约资源提高效率。
在这个过程里可以为世界节约40%的能源。
抛开这个软件的前景不看，从微软团队致力于研究开始，可以看他们的目标不仅是为了节约了能源，更加关注智能化运营。
通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据，捕捉如何杜绝能源浪费。
从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。
在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。
2012
年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。
奥巴马政府甚至将大数据定义为“未来的新石油”。
大数据时代已经来临，它将在众多领域掀起变革的巨浪。
但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。
因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。
我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔[4]。
4、在大数据时代下教育的改革
8
在考试中，两个同样得了90分的考生，他们的能力完全一样吗
课堂上，老师告诉同学们，“完成
第一题到
第十题”。
可是，真的是所有学生都有必要完成这10道题吗
教学过程中，如何更好地启发学生、如何更好地课堂互动，一节课的时长究竟是40分钟合适，还是45分钟合适。
这些问题，老师们是“凭经验”，还是靠科学分析
如果你对以上问题有思考，那么，你就会对大数据对教育形态的改变持开放的心态。
大数据时代悄然来临，过去无法收集与分析的数据都被新的技术手段赋予了可能性。
谁能对大数据的挖掘更为深刻，谁就会在行业发展中抢占先机，教育领域也是如此。
就在几天前，慧科教育宣布在原来“开课吧”的基础上正式上线“找座儿吧”，即在原来在线教育平台的基础上，又推出垂直的招聘平台。
从学习者职业性向的分析，到适合岗位的推荐，再到个性化设计的课程，经过考核、认证，最终推送到匹配的招聘岗位，完成了学习者从学习到求职的一整套完
9整路径。
这样一套同以往学校教育截然不同的教育模式，引发了业内的热议，而这，正是基于对学习者个性化的数据分析完成的。
两个同样考90分的考生，能力水平完全一样吗
大数据让教育真正面对每一个独立的个体
“不得不承认，对于学生，我们知道得太少。
”这是卡耐基梅隆大学教育学院的一句经典的口号，同时也是美国十大教育类年会关注度最高的议题。
类似的思考在我们国家的教育领域同样存在。
“我们真的了解孩子吗”“每一个孩子都是独特的，都是与众不同的，但是我们能针对他们进行真正个性化、差异化的教学吗”
举个简单的例子，两个同样在数学考试中取得90分的考生，他们的能力完全一样吗根据传统的教学模式，我们会认为，成绩相同的学生，能力大体相仿。
但如果借用大数据的分析手段，学生的差异性就会清晰展现。
根据对同为两个90分的考生进行分析，我们发现，
第一个学生更多的是依靠出色的逻辑思维，而另一名同学逻辑推理能力相对薄弱，是依靠出色的记忆力而获得较好的成绩。
10
因此，大数据能够让我们更全面地看待学生的发展，发现以往考试成绩
所反映不了的深层次问题。
当然，如果老师能对这一情况及时掌握，就能对两位同学开展不同的教学方式和方向。
比如，通常老师布置作业的方式是，“请同学们完成
第十题。
”“请同学们在假期读完这10本书”。
把同样的书目和同样的题目布置给不同的学生，在传统教育模式下无可厚非，但如果新技术已经帮助我们对每一个学生的个性和特点都有了充分的了解，就会有针对性地布置作业，进而实现那个绵延2000多年的梦想—因材施教。
如A同学做对了
第二题，系统马上可以告诉他，他可以跳过
第四题和
第八题，这是因为，二、四、八三道题目在考查同样的知识点，如果都做则是简单重复。
如果B同学做错了
第三题，那么系统就会提示他强化式练习
第六题和
第九题，这是因为基于大数据的分析，
第三题做错的同学很有可能在
第九题也出现错误。
而有针对性地反复训练，是十分必要的。
5、在大时代下，学生应该学习的技能知识
11
大数据和大数据分析的产生，使他们对企业的影响有一个兴趣高涨。
大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
而我们在大数据时代生活的计算机专业的学生，就必须学会如何捕捉数据甚至是要捕捉到有价值的，对企业有用的数据，只有这样，才能让我们在公司中发挥更重要的作用，才能对自己的未来进行进一步的规划。
以下便是现在国内外对于收集数据，处理数据最实用的6个参考软件
5.1
Hadoop
[5]Hadoop是一个能够对大量数据进行分布式处理的软件框架。
但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。
Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对
Hadoop失败的节点重新分布处理。
Hadoop是高效的，因为它以并行的方式
工作，通过并行处理加快处理速度。
Hadoop还是可伸缩的，能够处理PB级数据。
此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。
用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
它主要有以下几个优点
12
⒈高可靠性。
Hadoop按位存储和处理数据的能力值得人们信赖。
⒉高扩展性。
Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
⒊高效性。
Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
⒋高容错性。
Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
Hadoop带有用Java语言编写的框架，因此运行在
Linux生产平台上是非常理想的。
Hadoop上的应用程序也可以使用其他语言编写，比如C++。
5.2
HPCC
HPCC
，High
Performance
Computing
Communications（高性能计算与通信）
的缩写。
1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目高性能计算与通信”的报告，也就是被称为
HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。
HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到开发可扩展的
13计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
该项目主要由五部分组成
1、高性能计算机系统（HPCS），内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;
2、先进软件技术与算法（ASTA），内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;
3、国家科研与教育网格（NREN），内容有中接站及10亿位级传输的研究与开发;
4、基本研究与人类资源（BRHR），内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支持这些调查和研究活动;
5、信息基础结构技术和应用（IITA
）
，目的在于保证美国在先进信息技术开发方面的领先地位。
5.3
Storm
Storm是自由的开源软件，一个分布式的、容错的实时计
14算系统。
Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。
Storm很简单，支持许多种编程语言，使用起来非常有趣。
Storm由Twitter开源而来，其它知名的应用企业包括Groupon
、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
Storm有许多应用领域比如实时分析、在线机器学习、不停顿的计算、分布式RPC
远过程调用协议，一种通过网络从远程计算机程序上请求服务、
ETL（Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载）
等等。
Storm的处理速度惊人经测试，每个节点每秒钟可以处理100万个数据元组。
Storm是可扩展、容错，很容易设置和操作。
5.4
Apache
Drill
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。
Drill实现了Google’s
Dremel.
据Hadoop厂商MapR
Technologies公司产品经理Tomer
Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
“Drill”项目其实也是从谷歌的Dremel项目中获得灵感
该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取
15
Web文档、跟踪安装在Android
Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。
通过开发“Drill”Apache开源项目，组织机构将有望建立
Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
5.5
RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先
进技术。
它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
RapidMiner的功能和特点
1、免费提供数据挖掘技术和库
2、100%用Java代码（可运行在操作系统）
3、数据挖掘过程简单，强大和直观
4、内部XML保证了标准化的格式来表示交换数据挖掘过程
5、可以用简单脚本语言自动进行大规模进程
6、多层次的数据视图，确保有效和透明的数据
7、图形用户界面的互动原型
8、命令行（批处理模式）
自动大规模应用
16
9、Java
API（应用编程接口）
10、简单的插件和推广机制
11、强大的可视化引擎，许多尖端的高维数据的可视化建模
12、400多个数据挖掘运营商支持
耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。
5.6
Pentaho
BI
Pentaho
BI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案（Solution）的框架。
其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。
它的出现，使得一系列的面向商务智能的独立产品如Jfree
、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。
BI平台，Pentaho
Open
BI套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。
工作流引擎使用流程定义来定义在BI平台上执行的商业智能流程。
流程可以很容易的被定制，也可以添加新的流程。
BI平台包含组件和报表，用以分析这些流程的性能。
目前，Pentaho的主要组成元素包括报表生成、分析、数据
17挖掘和工作流管理等等。
这些组件通过J2EE
、
WebService
、SOAP
、HTTP
、Java
、JavaScript
、Portals
等技术集成到Pentaho平台中来。
Pentaho的发行，主要以Pentaho
SDK的形式进行。
SDK共包含五个部分Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的Pentaho网络服务器。
其中
Pentaho平台是Pentaho平台最主要的部分，囊括了
Pentaho平台源代码的主体;
Pentaho数据库为Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;
可独立运行的
Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;
Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
BI平台构建于服务器，引擎和组件的基础之上。
这些提供了系统的J2EE服务器，安全，portal
，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。
这些组件的大部分是基于标准的，可使用其他产品替换之。
大的数据需要特殊的技术，以有效地处理大量的容忍经过
18时间内的数据。
适用于大数据的技术，包括大规模并行处理
MPP
数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统
一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。
隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。
6、大数据的未来以及学生的未来
根据观研天下监测统计，2011年全球数据总量已经达到1.8ZB1ZB等于1万亿GB
，1.8ZB也就相当于18亿个1TB
移动硬盘的存储量，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍。
开源分析机构Wikibon预计，2012年全球大数据企业营收为50亿美元，未来5年的市场复合年增长率将达到58%，2017年将达到500亿美元。
6.1国家政策下的未来发展
[6]据权威专家透露，在有关部门协商的基础上，经国务院同意，将来或推出一个国家科技和产业专项来引导和支持大数据的研究和产业发展。
19
这个专项包括大数据的发展目标、发展原则和重点任务。
升级会员 