浅析大数据时代下的电子商务.docx

1、浅析大数据时代下的电子商务浅析大数据时代下的电子商务浅析大数据时代下的电子商务*摘要：云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来。通过对大数据时代下电子商务的现状、挑战和机遇进行详细分析，提出构建大数据时代下的电子商务服务模式，同时构建大数据时代下的电子商务服务平台。该平台的建立能够帮助电子商务企业克服整体管理水平薄弱等基本问题，同时对企业扩大业务量、扩展市场占有率、增强综合竞争力等也具有非常重要的作用，它将会是未来电子商务发展的必然趋势。关键词：大数据；电子商务；云计算；MapReduceAbstract: Cloud compu

2、ting, networking, social networking and other new services to promote data types and scale of human society is growing at an unprecedented rate, the official arrival of the era of big data. By the status quo for the next big data era of e-commerce, a detailed analysis of the challenges and opportuni

3、ties presented to build e-commerce services in an era of large data models, while building e-commerce service platform era of big data. The establishment of the e-commerce platform to help companies overcome the overall management of weak fundamental issues, while enterprises to expand business volu

4、me, expand market share, enhance overall competitiveness, also has a very important role, it will be the future of e-commerce development the inevitable trend.Key words: Large data; E-commerce; Cloud computing; MapReduce0. 引言随着互联网的快速发展与变化，电子商务等承载了大量个人及交易信息，电子商务中的数据不仅量大，而且结构复杂，其业务数据类型繁多，这就意味着电商的数据必须在

5、大容量数据分析和挖掘的基础之上，才能获得最真实的价值，因此大数据应用需求在电子商务中日趋重要。同时，中国的电子商务企业已经认识到大数据蕴含着巨大的商业价值，但国内互联网巨头作为率先使用大数据技术的用户，仅仅是基于开源软件自主开发大数据应用，未形成企业级的个性化应用。本论文首先通过对大数据时代下的电子商务发现状、挑战和机遇进行分析，其次，提出构建大数据时代下的电子商务服务模式，同时在大数据时代下构建电子商务平台。大数据时代下的电子商务服务模型的构建不仅能促进企业经济的发展，而且，它还可以加快实现电子商务企业信息化的建设。它是促进电子商务企业经济发展的迫切需要；是使传统企业经济向信息化经济过渡的有

6、效途径；是企业实现经济全球化、信息化的有效手段。1.大数据时代下的电子商务现状1.1 大数据发展现状大数据已成为全球语言。但对于大数据的定义也是众说纷纭，没有统一的规范定义。大数据的“大”字不仅意味着数量的庞大，还代表着数据种类繁多、结构复杂，变化的速度也非常快，这些特征的出现与互联网的发展息息相关。它是继云计算、物联网之后IT 产业又一次颠覆性的技术变革，对于企业将产生巨大的影响。如今，大数据分析已经成为行业研究的热点，大数据正在以多种方式创造着巨大的价值。在大数据时代，未来数年数据量将会呈指数爆炸。总体来说，未来大数据的发展趋势主要会呈现出几个特点：大数据会越来越多的进入垂直领域；越来越实

7、时化；大数据产业会发展成生态链；开放性越来越强，大数据会越来越多的走向数据互换和数据交易。1.2. 大数据时代下的电子商务企业现状电子商务经历了三个时代：（1）基于用户数的时代，此时电子商务企业通过收取会员费、广告费等方式发展客户来赚取利润；（2）基于销量的时代，电商企业通过投放广告来实现销售量的增长，以此来提升品牌影响力和企业价值；（3）基于数据的时代，电子商务公司通过对消费者的海量数据的收集、分析、整合，挖掘出商业价值，促进个性化和精确化营销的开展。随着电子商务的广泛应用，选择网上购物的消费者越来越多，使得电子商务网站的数据越来越多，这正是典型的大数据。全球迎来大数据时代，数据成为越来越有

8、用的资源，电子商务企业在开发利用大数据的市场上存在着巨大的发展前景。2. 大数据时代下电子商务的挑战善于利用大数据的电子商务企业将会获得新的发展方向和动力。要收集和发挥大数据的潜力，电子商务企业仍有很多障碍和挑战需要去克服。电子商务企业在大数据时代将会迎来重大的机遇和契机，同时也面临着大数据处理能力和隐私保护等方面的挑战。2.1 拥有大数据的挑战在大数据时代下，电子商务的竞争已经成为基于数据的竞争。数据就是电子商务企业的财富和金矿，谁拥有大数据，谁就有制胜的砝码，谁就可能成为大赢家。然而网络上的消费者并不会直接告诉企业其需求，电子商务企业必须去收集、分析、跟踪、对比消费者在互联网上留下的种种“

9、足迹”、评论、图片、视频等。当今极速爆炸的信息量远远超越了大部分企业IT 架构和基础设施的承载能力，其实时性要求也大大超越了现有的计算能力。挖掘大数据的价值类似沙里淘金，由于大数据价值密度低的特性更加增添了数据收集工作的巨大性和繁重性。拥有大数据是利用大数据的前提条件，若不具备整合大数据收集和使用的能力，企业就很难在广告和多个营销渠道中提供真正个性化和精确的产品和服务推荐，而拥有大数据的企业则能在竞争中脱颖而出，不战而胜。对于中小型电子商务企业来说，拥有大数据的挑战将显得更加的突出和严峻。因此，面对此挑战，电子商务企业首先应该从思想上认识到大数据的价值，高度重视数据的收集工作。其次，企业需要重

10、构其IT 架构，加大基础设施的承载能力，租用足够的空间，进一步加强信息化投资和建设，适应大数据时代的要求。2.2 处理大数据能力的挑战2010 年12 月，美国的科学技术顾问委员会、信息技术顾问委员会向奥巴马和国会提交的规划数字化未来的专门报告中把数据收集和使用的工作提到了战略的高度。该报告的第一个挑战就是“数据”问题，即：“如何收集、保存、维护、管理、分析、共享正在呈指数级别增长的数据是我们必须面对的一个重要挑战”。据统计，82的公司正受到处理海量信息的挑战，而且他们花很多时间对其进行研究，89的公司因超负荷处理数据而失去销售机会。仅仅坐拥大数据并不够，对大数据的分析和挖掘能力已成为企业的核

11、心竞争力。因此，建议电子商务企业着手部署“大数据战略”，引进和培养大数据相关人才，创建基于大数据的研发团队，从技术层面上解决大数据的困难和挑战，提高挖掘潜在商业价值的能力，从而有效地指导企业制订精确的行动纲领和采取高效的行动。2.3. 对隐私保护的挑战大数据时代，网络用户在互联网的评论、图片、视频、个人信息、兴趣爱好、交易信息、访问的网站等等均被企业记录在案。企业掌握了大量消费者的行为数据，对大数据进行整合和分析，从而可以发现新的商机，创造新的价值。然而这些数据经常包含消费者的真实信息，如在淘宝网上交易时的真实姓名、家庭住址以及银行账号等重要的真实信息，逐渐引起了我们对个人隐私的担忧。正如美国

12、著名的计算机专家迪博德所言，在信息时代，计算机内的每一个数据、每一个字节，都是构成一个隐私的血肉。信息加总和数据整合，对隐私的穿透力不仅仅是“112”的，很多时候，是大于2 的。3. 大数据下电子商务的机遇数据已经如一股“洪流”注入了世界经济，成为全球各个经济领域的重要组成部分。企业可以分析和使用的数据在爆炸式增长，通过对大数据的收集、整合、分析，企业可以发现新的商机，创造新的价值，带来大市场、大利润和大发展。所以对于电子商务企业来说，大数据时代蕴藏着巨大的商机。3.1. 大数据有利于市场营销据统计：一个销售人员为准备交易而寻找相关信息所花费的平均时间占工作时间的24，而这些时间和心血可以转化

13、为26 亿收入，这些钱足够一个中等财富规模的500 强企业卷土而来。要做到“低成本、高效率”的营销，企业必须基于大数据的分析和优化，把营销过程中的每一分潜在的价值都挤出来，从而节约成本、战胜对手、占领市场。美国信息经济领域著名的教授达文波特认为，能够始终保证自己以“数据”最优的方式经营的公司将会在竞争中坚持到最后，并不战而胜。大数据技术能够帮助他们获得更多的生意，销售人员预计实施大数据战略将对销售有显著的影响。大数据时代，网络媒体正在从单纯的内容提供方进化成开放生态的主导者，大数据时代的社会化营销重点是理解消费者背后的海量数据，挖掘用户需求，并最终提供个性化的跨平台的营销解决方案。如果电商拥有

14、了基于大数据的技术，在寻找潜在客户上、销售时间以及预测交易成功的几率上将会得到明显改善。3.2 大数据有利于个性化和精准的商品推荐随着电子商务的发展和对大数据的分析与研究，在信息指数性增长的同时，消费者获取、过滤、筛选、分析信息的能力却没有得到相应的提高，这必然会导致消费者淹没在浩瀚的信息海洋中。传统的商业模式在大数据时代下显得落伍了，个性化和精准的商品推荐成为未来电子商务发展的新方向。大数据为个性化商业应用提供了充足的养分和可持续发展的沃土。同时，顾客的结构、流量、点击率、购买的周期以及兴趣，都会在电子商务平台上产生大量的数据，通过对大数据的收集、整合和分析，电商可以对消费者的品位和消费意愿

15、进行准确识别，主动为其提供个性化和精准的销售产品和服务，提高销售额和利润率。在电商领域，亚马逊就是一个值得表率的例子，它通过个性化技术为用户进行智能导购，大幅度地提升了用户的体验与销售业绩。3.3. 大数据在利用中为信息安全带来发展契机随着移动互联网、物联网等新兴IT 技术逐渐步入主流，大数据使得数据价值极大提高，无处不在的数据，对信息安全提出了更高要求。同时，大数据领域出现的许多新兴技术与产品将为安全分析提供新的可能性；信息安全和云计算贯穿于大数据产业链的各个环节，云安全等关键技术将更安全地保护数据。大数据对信息安全的要求和促进将推动信息安全产业的大发展。下的电子商务4.1. 大数据的IT基

16、础云计算架构云计算是新型分布式网络计算架构，特别适合向各种网络应用提供计算、存储、网络、软件等在线服务，NIST 认为这种架构具有5 个关键功能、3 种服务模式和4种部署方式，如图1所示。云计算的特征主要有：按需自助服务、泛在网络访问、虚拟池化的资源、快速可伸缩性、可度量的服务，这些能力对当前电商的基础IT 设施来说，都是必须要满足的要求。资料来源：陈云海，黄兰秋. 大数据处理对电子商务的影响研究J.大数据技术与应用,2013（3）. 大数据处理模式大数据处理模式从传统的数据库集群演进到云计算MapReduce大规模并行处理架构，实现任务的分解处理和结果合并，从而实现对可处理数据规模的无限扩展

17、，大数据处理技术已被认为是继云计算、物联网之后IT 产业又一次颠覆性的技术变革。4.1.1 数据库集群模式集群是指通过协同工作方式运行同一套应用程序，针对客户端及应用程序提供单一系统映像，使用特定的连接方式，将硬件设备结合起来，构成的松散耦合的计算节点集合，具备以下优势：性能提升、扩展性提升、可靠性提升。数据库集群是将集群技术引入数据库。数据库集群在技术上具备一定的局限性，具体介绍如下：采用PC 服务器作为功能节点，系统线缆众多，硬件复杂度过高， 实施架设难度较大，可扩展性受限；高速互联设备必须通过主机的PCI插槽与主机相连，而PCI的传输速率无法满足并行数据库集群节点间的数据通信要求；数据库

18、安全性和数据集可扩展性提升空间极小，全面提升速度、数据同步、安全保证、可扩展性4 个技术指标是一大难题；随着设备量的增加和应用的复杂化，需要迅速追加投入以解决所引起的兼容性和可靠性等各类问题；并行数据库主要采用shared-nothing 结构，在扩展性、容错性、成本、对异构环境的支持能力等方面有所欠缺并相互影响，因此扩展性非常有限。4.1.2. MapReduce 框架云计算架构由大规模低端服务器组成服务器集群，提供海量存储空间和大规模数据的处理能力，具备可靠性、扩展性以及高可用性。MapReduce 框架包括： 分布式文件系统（HDFS）、并行编程模型MapReduce、并行执行引擎。从H

19、DFS角度来看，Hadoop 的节点由存储并提供定位块服务的数据节点（data node）和管理分布式文件系统命名空间的命名节点（name node）组成，HDFS 主从结构的体系架构设计大大简化了分布式系统架构。其文件系统的设计特点是：元数据集中管理、数据块（64 MB）分散存储以保证数据的安全性，数据复制（每份数据至少3个备份）实现高度容错。传统的数据库系统实时应能力较高，但对于TB 级或PB 级别的大数据集，数据挖掘的检索速度则急剧下降，但引入HDFS与RDBMS 相结合的机制可以充分利用两者优势，实现高效率的数据挖掘与决策支持。用于对集群上的大数据集进行并行计算处理，是非关系型数据管理

20、和分析技术的典型代表。MapReduce 将数据处理任务抽象一系列的map（映射）和reduce（化简）操作对，分别完成数据的过滤和聚集操作，并通过简单的界面进行管理。其计算流程和基本原理简单地说，就是将大数据集分解为成百上千个小数据集，每个（或若干个）数据集分别由集群中的一个节点进行处理并生成中间结果，这些中间结果又由大量的节点进行合并，形成最终结果，如图2 所示。图2. MapReduce 并行计算流程资料来源：覃雄派，等.大数据分析RDBMS与MapReduce的竞争与共生J.软件学报，2012(1).几种大数据处理模式的比较分析见表1，可见，MapReduce 大数据处理模式具有相对显

21、著的优势。表1. 大规模数据处理模式的比较分析资料来源：覃雄派，等.大数据分析RDBMS与MapReduce 的竞争与共生J.软件学报，2012(1).基于MapReduce 计算模型编写分布式并行程序的主要编码工作就是实现map 和reduce 函数，其他的分布式存储、工作调度、负载平衡、容错处理、网络通信等复杂问题均由MapReduce 框架负责处理。MapReduce 原理简单、技术简洁、数据处理效率高，在系统层面解决了数据库集群难以解决的扩展性、容错性等问题，MapReduce 免费开源， 基于异构廉价服务器搭建可弹性伸缩的大规模集群，并行、分布式地处理和分析大规模数据，其构建成本远低

22、于数据库集群所采用的并行数据库。4. 建议与意见 加强对逆向物流的重视随着电子商务的发展，我国逆向物流的发展也在不断进步，但是，与国外发达国家相比，我国企业对逆向物流的重视力度不够，很多电子商务企业的逆向物流意识淡薄，再加上第三方物流在我国的不成熟，缺乏逆向物流服务，这些原因致使我国的逆向物流发展存在一定的障碍。电子商务环境下的逆向物流发展，将有利于企业效率的增加、物流业的发展壮大，更有利于建立顾客忠诚度，可当今的逆向物流存在这一系列的问题，比如：商家不重视退货管理、退货标准不统一、逆向物流管理难度大及缺乏专业的逆向物流人才，面对上述问题，企业应该注重完善逆向物流的发展策略和管理信息系统，制定

23、合理的退货政策，提高顾客的满意度，加强对逆向物流人才的培养，从而提高顾客的忠诚度与企业的美誉度，最终达到增加效率的目的。4.2.寻找数据挖掘的方向目前，国内网络广告投放正从传统的面向群体的营销转向个性化营销，从流量购买转向人群购买。虽然市场大环境不好，但是具备数据挖掘能力的公司却倍受资本青睐。从资本角度来看，什么样的公司有价值，什么样的公司没有价值，从其拥有的数据规模、数据的活性和这家公司能运用、解释数据的能力，就可以看出这家公司的核心竞争力。而这几个能力正是资本关注的点。实际上，将用户群精准细分，直接找到要找的用户正是社交内容背后数据挖掘所带来的结果。而通过各种算法实现的数据信息交易。目前，

24、国内网络广告投放正从传统的面向群体的营销转向个性化营销，从流量购买转向人群购买。未来的市场将更多地以人为中心，主动迎合用户需求，前提就是要找到这部分人群。4.3. 建立健全电子商务营销渠道由于开展电子商务有投资成本低、管理方便等优势，所以很多创业者就首选在网上开店，这使得实体店因为销售业绩不好而逐渐倒闭，也使得很多消费者不得不网上去购物。网店的店主们为了增加网上市场的占有率及竞争力，而不得不用各种营销渠道来吸引消费者的注意力，比如：把商品价格降低、买商品送礼物等。目前，电子商务技术方面的竞争很难拉开企业与企业之间的差距，只有具有健全的电子商务营销渠道，企业的综合竞争力才能得到提高。因此，建立健

25、全的电子商务营销渠道，不仅可以方便很多用户消费，而且还可以促进电子商务企业的发展。. 妥善处理隐私针对隐私保护方面的问题，建议电子商务企业和国家从以下三方面着手：（1）电子商务企业应该恪守行业道德，不能将消费者的个人信息进行交易和泄露。（2）企业应该从技术层面上采用先进的隐私保护技术进一步加强用户的隐私保护，解决由于过度开发或者深度营销可能造成的用户隐私侵犯等等问题。（3）随着大数据应用的发展，隐私保护的问题和概念在不断地发展，因此国家应该制定与之相应的隐私保护的法律和法规，确实保护公民的隐私权。5. 结语现在，数据的重要性已经提升到竞争性要素的高度。众所周知，信息时代的竞争，不是劳动生产率的

26、竞争，而是知识生产率的竞争。可以预见，基于知识的竞争，将集中表现为基于数据的竞争。而这种数据竞争，将成为经济发展的必然。电子商务也即将跨入一个数据兴则企业兴、数据强则企业强的竞争时代。大数据将成为电子商务的新武器，谁拥有大数据和对大数据的强大处理能力，谁就有制胜的砝码，并将最终赢得市场。虽然如今大数据下的电子商务服务发展模式仍处于探索和应用的初级阶段，但随着大数据的不断发展，未来的电子商务将会成为中小企业发展的一个重要平台。参考文献1姚宏宇，田溯宁.云计算大数据是大的工程M.北京：电子工业出版社.2013.2武蔚.大数据的应用及带给企业的挑战R.信息技术与标准化，2013（11）.3蔡君.大数

27、据将带来整个互联网的变革R.特别关注，2014（21）.4钱小聪.大数据的发展和产业机遇R.物联网技术，2013（10）.5陈云海，黄兰秋.大数据处理对电子商务的影响研究R.大信科学，2013（3）.6甘丽新，凃伟.大数据时代电子商务的机遇与挑战探讨R.科技广场,2013(3).7李万予.大数据时代你还有隐私吗R.理论导报，2013（9）.8于刚.电子商务跨入“大数据”时代R.中国经贸，2013（6）.9涂子沛.大数据M.桂林：广西师范大学出版社，2012.10高珍，谢玉蜻.电子商务系统中的大数据处理R.工程科技，2012（21）.11全石峰.云计算环境下大数据处理对电子商务发展的作用R.电子政务与电子商务，2013（20）.12徐国虎，孙凌.基于大数据技术的线上线下电商用户数据挖掘流程分析R.中国集体经济，2012（30）.