大数据文献综述.docx

大数据文献综述.docx

《大数据文献综述.docx》由会员分享，可在线阅读，更多相关《大数据文献综述.docx（9页珍藏版）》请在冰点文库上搜索。

大数据文献综述

信息资源管理文献综述

题目：

大数据背景下的信息资源管理

系别：

信息与工程学院

班级：

2015级信本1班

姓名：

学号：

015

任课教师：

2017年6月

大数据背景下的信息资源管理

摘要：

随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。

大数据是数据分析的前沿技术。

简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。

“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。

就拿XX地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。

各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。

关键词：

大数据信息资源管理与利用

前言：

大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值

的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日

报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的

大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比

石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞

争制高点的重要举措.

当前大数据分析者面临的主要问题有:

数据日趋庞大，无论是入

库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对

实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指

数级上升;传统技能和处理方法无法应对大数据挑战.

正文：

大数据概念

大数据定义

维基百科对大数据的定义则简单明了:

大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

也就是说大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理

大数据来源

1）来自人类活动:

人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据，包括微博、病人医疗记录、文字、图形、视频等

信息.

2）来自计算机:

各类计算机信息系统产生的数据，以文件、数据库、多媒体等形式存在，也包括审计、日志等自动生成的信息.

3）来自物理世界:

各类数字设备、科学实验与观察所采集的数据.如摄像头所不断产生的数字信号，医疗物联网不断产生的人的各项特征值，气象业

务系统采集设备所收集的海量数据等

传统数据库和大数据的比较

现有数据处理技术大多采用数据库管理技术，从数据库到大数据，看似一个简单的技术升级，但仔细考察不难发现两者存在一些本质上区别。

传统数据库时代的数据管理可以看作“池塘捕鱼”，而大数据时代数据管理类似“大海捕鱼”，“鱼”表示待处理的数据。

“捕鱼”环境条件的变化导致“捕鱼”方式的根本性差异

大数据技术

大数据处理技术正在改变当前计算机的运行模式，正在改变着这个世界。

它能处理几乎各种类型的海量数据，无论是微博、文章、电子邮件、文档、音频、视频，还是其他形态的数据。

它实时、高效、可视化呈现结果。

它依托云计算将计算任务分布在大量计算机构成的廉价的资源池上，使用户能够按需获取计算资源、存储资源、网络资源和信息服务。

云计算技术的应用使得大数据处理和利用成为可能。

大数据作为信息金矿，对其采集、传输、处理和应用的相关技术就是大数据处理技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理技术，或简称大数据技术

大数据的存储与管理

数据存储与大数据应用密切相关。

大数据给存储系统带来3个方面挑战:

1）存储规模大，通常达到PB甚至EB量级;

2）存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据

3）数据服务的种类和水平要求高大数据存储与管理，需要对上层应用提供高效的数据访问接口，存取PB甚至EB量级的数据，并且对数据处理的实时性、有效性提出更高要求，传统常规技术手段根本无法应付。

某些实时性要求较高的应用，如状态监控，更适合采用流处理模式，直接在清洗和集成后的数据源上进行分析。

而大多数其他应用需要存储，以支持后续更深度数据分析流程。

根据为上层应用访问接口和功能侧重不同，存储和管理软件主要包括文件系统和数据库。

大数据环境下，目前最适用的技术是分布式文件系统、分布式数

大数据隐私与安全

当前大数据的发展仍然面临着许多问题，安全和隐私问题是人们公认的关键问题之一。

其中，隐私问题由来已久，计算机的出现使得越来越多的数据以数字化的形式存储在电脑中，互联网的发展则使数据更加容易产生和传播，数据隐私问题越来越严重。

大数据在存储、处理、传输等过程中面临安全风险，具有数据安全和隐私保护需求。

而实现大数据安全与隐私保护，较其他安全问题（如云安全中数据安全等）更为棘手。

呈现出的安全隐私问题主要有：

1）大数据时代的安全与传统安全相比，变得更加复杂；

2）使用过程中的安全问题；

3）对大数据分析较高的企业和团体，面临更多的安全挑战；

4）基于位置的隐私数据暴露严重；

5）缺乏相关的法律法规保证；

6）大数据的共享问题；

7）数据动态性；

8）多元数据的融合挑战；

目前针对上述问题，主要研究解决方法有:

文件访问控制技术、基础设备加密、匿名化保护技术、加密保护技术、数据水印技术、数据溯源技术、基于数据失真的技术、基于可逆的置换算法据库以及访问接口和查询语言

大数据在信息管理层面的应用

大数据在宏观信息管理层面的应用

关于大数据的科学价值与社会价值正如牛津大学的维克托·迈尔·舍恩伯格教授所言主要表现为两大方面，“一方面，对大数据的掌握程度可以转化为经济价值的来源。

另一方面，大数据已经撼动了世界的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。

”大数据的潜在经济价值很快在现实中表现出来，伦敦智库政策交易所宣布大数据每年能为英国政府节省330亿英镑。

因此无论出于利益还是效率方面的考虑，各国政府对于大数据在宏观信息层面的管理都已提到议事日程上来。

美国奥巴马政府2亿美元的“大数据研究和发展计划”，中国工信部在物联网“十二五”规划中提出了与大数据密切相关的四项关键技术创新工程：

信息感知技术、信息传输技术、信息安全技术、信息处理技术。

由此可见，各国政府充分意识到了大数据的潜在价值，试图从宏观上对信息结构进行合理的开发与应用。

而在政府宏观信息管理范畴内较为重要的一个问题是“数据开放”，只有在保证数据透明开放的前提下，大数据的潜在价值才有被开发的可能。

以大数据在政务管理方面的应用为例。

今天政府工作在电子政务方面的发展已经相对普及，但始终停留于低层次的初级水平，这不仅涉及到政府工作效率，更是对政府职能的一次叩问。

蒂姆·奥莱利在Web2.0概念基础上提出了政府2.0。

所谓政府2.0是指政府利用互联网上的多元信息平台，打造形成一个国民互动、共同创新的整合开放平台。

以此保证与民众直接互动和沟通，从条块分割、封闭的架构迈向一个开放、协同、合作、互动的架构，使政府真正成为服务型政府。

其基本特征是公开透明、互动沟通、开放创新、平台服务。

大数据对于政府2.0以及政府工作的推动无疑是革命性的，它最终推动了政府信息资源的公开化和有效利用，打破了政府与社会民众间的无形藩篱

大数据在中观信息管理层面的应用

大数据在信息管理中观层面的影响主要通过对于信息系统的管理完成的，主要应用于某一部门或某一区域的信息管理。

比如大数据在公共事务管理方面的应用，在电子政务、医疗卫生、新闻通信、教育管理、公共交通等部门领域内的事务管理，极大提高了公共事务的处理效率，并为公共事务的管理建立起新方法与新秩序。

在中观层面信息管理的应用过程中，大数据能够在具体领域起到关键作用。

比如大数据对图书馆在信息数据获取与服务等方面提供的机遇与挑战；大数据在当前企业竞争情报系统管理方面的强大优势；大数据在城市交通管理体系建构中的积极作用；在医疗方面能够有效预测流感的发生，并及时采取合理的治疗手段，保证社会医疗卫生安全；甚至对于电力通信、地理测绘等也能产生效能。

大数据的积极影响已经深入社会生活各个层面，并且已经开始干预生活，影响人们的生活模式

大数据在微观信息管理层面的应用

大数据在信息管理微观层面的应用，主要表现为对于信息以及信息资源的处理等方面，具体针对某类客户、某一问题的信息收集、整理、分析工作。

例如汽车导航、航海路线、设备维修、人员管理等微观事务的信息管理，能够切实解决现实生活中的具体问题。

大数据的这种微观信息管理在商业、经济领域的应用效果表现得最为突出，甚至很多企业正是以大数据的开发而闻名。

正如著名的O'Reilly公司预言的那样，“数据是下一个‘IntelInside’，未来属于将数据转换成产品的公司和人们。

”其中世界最早的大数据公司之一Farecast公司，他们创建了一个相对稳定的预测系统，在对某一行业的数据进行合理分析的基础上，用以预测某类产业价格的升降趋势。

比如在机票价格、宾馆预订、二手车购买等方面，通过Farecast公司的预测系统可以发现它们价格的走势与增降幅度，且具有较高的命中率，从而帮助很多消费者节省大量开支。

其后微软公司（Microsoft）、国际商业机器公司（IBM）、甲骨文公司（Oracle）、谷歌公司（Google）、亚马逊公司（Amazon）、Facebook等等各大跨国巨头也都先后进入大数据领域，一方面推动着大数据处理技术快速发展，另一方面从大数据中获取巨额利润。

比如以图书销售为主要业务的亚马逊公司，他们采用了机器生成的个性化图书推荐系统，以此代替之前的书评家的个人评论与推荐，从而极大降低了投入成本、增长了销售量，并最终彻底改变了电子商务，使电子商务在今天得以全面普及。

同时亚马逊公司与各大出版公司协商将图书数据化的工程也取得了巨大成功，将大数据的应用推向新的方向、走向新的高峰。

今天大数据在经济领域的应用可谓深入而广泛，已经成为了不可逆转的一种趋势

大数据背景下我国信息资源管理现状分析

我国的网络信息资源管理跟一些发达国家相比，还存在很大的差距，即我国的网络信息资源管理所研究的内容还不是很系统和完善，一般对网络信息资源管理的研究也主要是从理论的层面进行研究的，主要研究的内容有信息资源的特征、信息资源管理的体系结构以及信息资源的利用中所存在的问题和相应的对策等。

在当前信息技术飞速发展的时代，信息资源的重要性不言而喻，全球特别是发达国家对大数据的研究非常重视。

特别是近些年，美国政府相关部门以及军方斥巨资研究大数据以及大数据的发展规划，以便更好地提升美国的教育事业、科研事业以及整个国家的信息安全能力，这表明美国非常重视大数据的研究，并将大数据作为国家发展的一个促进策略。

从目前的形式来看，我国对大数据的研究也紧跟时代的发展潮流，信息资源管理发展由最初的传统型管理步入网络信息资源管理时代，其发展势头迅猛。

邬贺铨院士曾经说过：

“我国将产生全球最大量的数据，要重视大数据的开发利用和管理。

”而工信部提出我国必须要利用信息资源促进并发展传统产业，有效提升传统产业的质量和经济效益，进而促进我国经济社会的快速、稳定发展。

信息处理技术所包括的数据存储技术、图像视频智能分析技术以及数据挖掘信息技术等也都属于大数据处理技术。

而大数据背景下，我国在信息资源管理和利用方面存在的问题很多，如当前我国依然沿用其他先进国家的网络信息资源管理和利用技术，没有自主性和创新性；大数据安全管理能力不强、大数据存储及处理能力不高、大数据应用能力较差等。

在技术的角度来讲，当前我国主要研究的是数据库以及数据挖掘等方面，包括一些搜索引擎技术、元数据以及专业指引库技术等。

而现在，我国无法提出适合我国信息技术快速发展的信息资源管理手段，虽然也有很多研究性的理论知识，但是将其付诸实践的难度却很大。

结论：

通过研究发现，关于大数据的开发虽然已经取得巨大进步，但仍处于初级阶段，在信息技术与信息管理方面尚有较大提升空间，应用范围也有待进一步扩展，同时它的反本质主义倾向也易于导致边际的泛化扩展，这都需要进一步研究解决。

最后我们应该看到，大数据作为信息管理领域内出现的一种新理念、新技术，它为我们带来了新的契机，面对这一历史的端点，我们有责任与义务投入全部的科研热情与力量，将我国大数据研究推至世界领先地位，以保证我们在新世纪激烈的竞争环境中占据有利地位

参考文献：

[1]梁吉业,冯晨娇,宋鹏.大数据相关分析综述[J].计算机学报,2016,（01）:

1-18.

[2]黄欣荣.大数据技术的伦理反思[J].新疆师范大学学报（哲学社会科学版）,2015,（03）:

46-53+2.

[3]黄刘生,田苗苗,黄河.大数据隐私保护密码技术研究综述[J].软件学报,2015,（04）:

945-959.

[4]李学龙,龚海刚.大数据系统综述[J].中国科学:

信息科学,2015,（01）:

1-44.

[5]孙杰,贺晨.大数据时代的互联网金融创新及传统银行转型[J].财经科学,2015,（01）:

11-16.

[6]刘雅辉,张铁赢,靳小龙,程学旗.大数据时代的个人隐私保护[J].计算机研究与发展,2015,（01）:

229-247.

[7]方巍,郑玉,徐江.大数据:

概念、技术及应用研究综述[J].南京信息工程大学学报（自然科学版）,2014,（05）:

405-419.

[8]何克抗.大数据面面观[J].电化教育研究,2014,（10）:

8-16+22.

[9]任磊,杜一,马帅,张小龙,戴国忠.大数据可视分析综述[J].软件学报,2014,（09）:

1909-1936.

[10]程学旗,靳小龙,王元卓,郭嘉丰,张铁赢,李国杰.大数据系统和分析技术综述[J].软件学报,2014,（09）:

1889-1908.

[11]刘道新,胡航海,张健,徐秀敏.大数据全生命周期中关键问题研究及应用[J].中国电机工程学报,2015,（01）:

23-28.

[12]李广建,化柏林.大数据分析与情报分析关系辨析[J].中国图书馆学报,2014,（05）:

14-22.

[13]黄永勤.国外大数据研究热点及发展趋势探析[J].情报杂志,2014,（06）:

99-104+78.

[14]郭华东,王力哲,陈方,梁栋.科学大数据与数字地球[J].科学通报,2014,（12）:

1047-1054.

[15]邱东.大数据时代对统计学的挑战[J].统计研究,2014,（01）:

16-22.

[16]张引,陈敏,廖小飞.大数据应用的现状与展望[J].计算机研究与发展,2013,（S2）:

216-233.

[17]祝智庭,沈德梅.基于大数据的教育技术研究新范式[J].电化教育研究,2013,（10）:

5-13.

[18]俞立平.大数据与大数据经济学[J].中国软科学,2013,（07）:

177-183.

[19]王元卓,靳小龙,程学旗.网络大数据:

现状与展望[J].计算机学报,2013,（06）:

1125-1138.

[20]朱东华,张嶷,汪雪锋,李兵,黄颖,马晶,许幸荣,杨超,朱福进.大数据环境下技术创新管理方法研究[J].科学学与科学技术管理,2013,（04）:

172-180.

[21]严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013,（04）:

168-172.

[22]王珊,王会举,覃雄派,周烜.架构大数据:

挑战、现状与展望[J].计算机学报,2011,（10）:

1741-1752.