Hadoop渐成熟12家厂商群雄逐鹿V11.docx
《Hadoop渐成熟12家厂商群雄逐鹿V11.docx》由会员分享，可在线阅读，更多相关《Hadoop渐成熟12家厂商群雄逐鹿V11.docx（18页珍藏版）》请在冰点文库上搜索。
Hadoop渐成熟12家厂商群雄逐鹿V11
2012年Hadoop渐成熟12家厂商群雄逐鹿V1.1
2012年05月04日
12012年Hadoop渐成熟12家厂商群雄逐鹿
Hadoop处于这个十年的大数据革命的暴风眼。
这种基于Java的框架实际上由一套用于分布式处理海量数据的软件和子项目组成。
核心方法是MapReduce，这项技术用来压缩和简化数十乃至数百TB字节的互联网点击流数据、日志文件数据、网络数据流或者是来自社交网络内容的大批文本。
自从Hadoop在2008年作为Apache开源项目发布以来，它就一直让人备感兴奋，原因在于它结合了成本低、可扩展性佳以及无需构建预定义模式（predefinedschema）就能灵活地处理任何数据等优点。
许多人觉得，Hadoop有望带来全新一代的数据处理功能，就像结构化查询语言（SQL）30多年前在数据计算领域引发革命那样。
但是Hadoop不太成熟，在某些方面与SQL相比完全很原始、很粗陋。
一些开路先锋已经投入至少六年的时间来开发Hadoop，其中大多数人在雅虎等互联网巨头开始接触这种框架。
Hadoop取得的成功同时也促使主流市场对其稳定性、成熟的管理等更高的需求，包括SQL环境具有的那些丰富功能等等。
现在所有人寄希望于Hadoop厂商们开发出成熟可靠的工具、功能和技术创新。
这个社区中有影响力的主要厂商包括Cloudera和亚马逊。
Cloudera是开山鼻祖，现在也是Hadoop软件的最主要来源，它拥有CDH发行版和配套的管理软件。
它还是为Hadoop提供企业支持和培训服务的最大供应商。
亚马逊很早就进入了这个领域，其亚马逊弹性MapReduce服务在公共云中运行Hadoop。
2011年，MapR和Hortonworks（后者从雅虎拆分出来）一下子备受瞩目，它们宣布了各自的Hadoop软件发行版，另外提供支持和培训服务；至于MapR，它还提供旨在提供高性能的专有版本。
Hadoop要有所改进，竞争是一个方面，所以市面上出现更多版本以及新的支持和培训服务应该让每个人都受益。
数据处理是一回事，但是大多数Hadoop用户最终希望实现的是分析数据。
这时候，像Datameer、Hadapt和Karmasphere这些专门针对Hadoop的数据访问、商业智能和分析工具厂商就闪亮登场了。
Hadoop迈向主流的标志是在2011年，它得到了五家主要的数据库和数据管理厂商的积极接受，EMC、IBM、Informatica、微软和甲骨文都纷纷进入Hadoop领域一较高下。
IBM和EMC在去年发布了各自的发行版，后者还与MapR结为合作伙伴。
微软和甲骨文则分别与Hortonworks和Cloudera合作。
EMC和甲骨文都发布了专门定制的硬件设备，随时可以运行Hadoop。
Informatica扩展了其数据集成平台以支持Hadoop，现在它还将其解析代码和数据转换代码直接融入到环境中。
不妨深入了解这些有影响力的厂商们在Hadoop方面有怎样的作为。
1.1亚马逊将MapReduce作为服务来交付
亚马逊早在2009年就推出了亚马逊弹性MapReduce（AmazonElasticMapReduce），绝非很晚进入Hadoop领域。
所以说，亚马逊对Hadoop的需求和应用可谓了若指掌，无论用户是运行试点项目的新手，还是内部部署的预置型系统遇到需求过载时，利用弹性MapReduce来获取额外容量的专业人士。
弹性MapReduce是一项能够迅速扩展的Web服务，运行在亚马逊弹性计算云（AmazonEC2）和亚马逊简单存储服务（AmazonS3）上。
这可是货真价实的云：
面对数据密集型任务，比如互联网索引、数据挖掘、日志文件分析、机器学习、金融分析、科学模拟和生物信息学研究，用户需要多大容量，立即就能配置到多大容量。
除了数据处理外，用户还可以使用KarmasphereAnalyst的基于服务的版本，KarmasphereAnalyst是一种可视化工作区，用于在亚马逊弹性MapReduce上分析数据。
Karmasphere提供了可视化工具，以便使用SQL及其他语言，针对在亚马逊S3、亚马逊弹性MapReduce作业流或本地文件系统上的结构化数据和非结构化数据，执行即席查询和分析。
用户还可以提取结果文件，以便在数据库或者微软Excel或Tableau等工具中使用。
1.2Cloudera力求Hadoop的企业安全性
作为历史最悠久、实力最强大的Hadoop软件和服务提供商，Cloudera公司自2008年以来就一直致力于将开源ApacheHadoop打造成一款供企业使用的可靠平台。
这家公司有100多个客户，不过鉴于Cloudera最近与IT业界老大的数据库供应商甲骨文结为合作伙伴，今年其客户数量有望大幅增加。
Cloudera为其ApacheHadoop软件发行版增添了两个重要部分：
一个是用于控制和管理Hadoop部署环境的Cloudera管理器控制台，另一个是企业级支持。
Cloudera管理器提供了基于向导的安装和配置菜单，以便部署Hadoop。
另外，它还提供了一些工具，帮助系统管理人员监控平台的运行状况、诊断问题、优化性能，以及在配置和安全方面作出所需的变更。
Cloudera支持服务分每天8小时每周五天或每天24小时每周七天这两种，服务包括配置检查、问题逐级上报和解决、与第三方系统集成以及知识库、文章及其他技术资源。
除了现有的这些服务外，还有培训和咨询服务。
Cloudera企业解决方案包括Hadoop软件发行版、Cloudera管理器及支持，标价为每年每个节点4000美元（不包括硬件）。
1.3Datameer将商业智能运用到大数据上
Datameer公司宣称其Datameer分析解决方案（DAS）是一款面向Hadoop、针对企业用户的商业智能（BI）平台。
但是DAS并不将Hadoop当作信息孤岛：
它可以通过JDBC、Hive、HTTP或其他标准，连接到任何数据源。
它包含了一个由向导驱动的集成平台，让用户可以安排调度负载，并且转换来自任何这些数据源的庞大的结构化、半结构化或非结构化数据集。
然后，用户可以通过类似电子表格的DAS界面，运用180多项分析功能中的任何一项功能。
企业用户可以获得拖放式报告和仪表板功能。
DAS可以在私有云或公共云上运行，而且有一套代表性状态传输（REST）应用编程接口（API），用于数据导入和导出。
1.4EMC提供单一的数据分析平台
EMC自称其EMCGreenplum统一分析平台（UAP）是一款单一软件平台，数据团队和分析团队可以在该平台上无缝地共享信息、协作分析，没必要在不同的孤岛上工作，或者在不同的孤岛之间转移数据。
正因为如此，UAP包括ECMGreenplum关系数据库、EMCGreenplumHDHadoop发行版和EMCGreenplumChorus，而后者是一种协作式、类似社交网络的界面，可供数据分析团队处理，无论团队成员是有博士头衔的数据科学家、数据集成专家和商业智能分析员，还是数据库管理员和业务部门的用户及管理人员。
EMC为大数据开发的硬件是模块化的EMC数据计算设备（DCA），它能够在一个设备里面运行并扩展Greenplum关系数据库和GreenplumHD节点。
DCA提供了一个共享的指挥中心（CommandCenter）界面，让管理员可以监控、管理和配置Greenplum数据库和Hadoop系统性能及容量。
UAP软件将数据访问、管理和工作流统一起来，并与其他数据源和数据处理方法联系起来；随着Hadoop平台日趋成熟，预计分析功能会急剧增加。
1.5Hadapt统一关系数据库环境和Hadoop环境
Hive是在Hadoop上运行的Apache数据仓库组件，它一向以速度慢而出名。
这时候，Hadapt上场了，它提供了一体化的分析环境，旨在对Hadoop里面的数据执行分析操作，还能对SQL环境中传统的结构化数据进行分析。
Hadapt公司表示，通常采用的方法是使用由扩充型连接件联系起来的两个不同系统，但是这带来了延迟，因而导致这种方法显得很孤立。
而Hadapt的平台设计成了可以在私有云或公共云环境上运行，提供了从一个环境就能访问所有数据的优点，所以除了MapReduce流程和大数据分析工具外，现有的基于SQL的工具也可以使用。
Hadapt可以在Hadoop层和关系数据库层之间自动划分查询执行任务，提供了Hadapt所谓的优化环境，这种环境可以充分利用Hadoop的可扩展性和关系数据库技术的快速度。
1.6Hortonworks发扬了雅虎的Hadoop传统
Hortonworks公司在2011年从雅虎拆分出来，凭借一支由近50人组成的核心团队（其中一些人是Hadoop社区最资深最多产的贡献者），办成了一家完全致力于推进这个开源平台的独立公司。
Hortonworks的主管们坚称，这支雅虎团队开发了Hadoop平台背后的大部分代码，将在引领该平台的未来方面起到推动作用。
Hortonworks拉到的第一张重要的信任票（除了获得风险创新资金外）是在去年10月与微软结为合作伙伴；通过这种合作关系，Hortonworks将帮助微软开发与Windows兼容，同时恪守Apache开源项目原则的Hadoop版本。
Hortonworks随后在去年11月推出了Hortonworks数据平台（HDP）v1，Hadoop平台的这个发行版不久将在2012年第一季度更新到v2版本，会加入最新的（0.23）ApacheHadoop版本。
Hortonworks还提供Hadoop支持、培训和咨询，给Cloudera和MapR加大了竞争力度。
1.7IBM提供BigInsights、BigSheets和BigCloud
仅仅几年前，IBM开始在其实验室尝试使用Hadoop，但是它在去年将相关产品和服务纳入到商业版，甲骨文和微软在其之后才宣布各自也将积极接受该平台。
IBM在去年5月推出了InfoSphereBigInsights软件。
该软件包包括ApacheHadoop发行版、面向MapReduce编程的Pig编程语言、针对IBM的DB2数据库的连接件以及IBMBigSheets，后者是一种基于浏览器的、使用电子表格隐喻（spreadsheet-metaphor）的界面，用于探究和分析Hadoop里面的数据。
IBM随后又在10月通过其智慧云企业（SmartCloudEnterprise）基础架构，将BigInsights和BigSheets作为一项服务来提供。
这项服务分基础版和企业版；一大卖点就是客户不必购买支持性硬件，也不需要IT专门知识，就可以学习和试用大数据处理和分析功能。
据IBM声称，客户用不了30分钟就能搭建起Hadoop集群，并将数据转移到集群里面，数据处理费用是每个集群每小时60美分起价。
1.8Informatica走得更深入一步
许多数据集成和数据管理厂商（IBM、甲骨文、Syncsort和Talend）处理的是很明显的任务：
让数据进出Hadoop。
Informatica公司在去年10月则更深入一步，当时它推出了HParser，这是一种针对Hadoop而优化的数据转换环境。
据Informatica声称，软件支持灵活高效地处理Hadoop里面的任何文件格式，为Hadoop开发人员提供了即开即用的解析功能，以便处理复杂而多样的数据源，包括日志、文档、二进制数据或层次式数据，以及众多行业标准格式（如银行业的NACHA、支付业的SWIFT、金融数据业的FIX和保险业的ACORD）。
正如数据库内处理技术加快了各种分析方法，Informatica同样将解析代码添加到Hadoop里面，以便充分利用所有这些处理功能，不久会添加其他的数据处理代码。
Informatica旨在提供一款单一平台，希望能够借助统一的环境和方法，全面满足数据管理和数据集成方面的要求。
这家公司的企业客户超过4300个，它估计10%以上的客户正进入到大数据领域（大数据的容量超过100TB）。
市场地位和技术创新使得Informatica成为值得关注的一家Hadoop专业厂商。
1.9Karmasphere玩转Hadoop数据分析
来自传统商业智能领域的众多厂商（Jaspersoft、Pentaho、TableauSoftware及其他公司）现在将其工具和技术对准了Hadoop这一数据源。
但是自2010年以来，Karmasphere公司就一直在帮助数据专业人员挖掘和分析Hadoop里面的互联网、移动设备、传感器和社交媒体等数据。
Karmasphere提供了直接访问Hadoop里面结构化和非结构化数据的优点，它还可以运用SQL及其他语言，用于即席查询和进一步的分析。
KarmasphereAnalyst是核心协作工作区，以便数据专业人员和数据分析员可以直接访问Hadoop里面的结构化和非结构化数据。
使用SQL及其他语言，用户就能创建即席查询，然后处理结果。
KarmasphereStudio为开发人员提供了一种图形化环境，可以在里面开发自定义算法，为应用程序和可重复的生产流程创建实用的数据集。
Karmasphere与Hadoop领域的多家知名厂商达成了合作关系，面向亚马逊弹性MapReduce的KarmasphereAnalyst和KarmasphereStudio将相关工具运用到了这主要的基于云的MapReduce服务之一。
1.10MapRTechnologies声称性能更好
MapR公司在Hadoop领域显得有点特立独行，它提供了一款独特的发行版。
它从开源Apache项目获取了该公司所需的组件，同时摈弃了它不喜欢的组件（特别是Hadoop分布式文件系统即HDFS，MapR认为这是单一故障点，并将它换成了基于Unix的网络文件系统）。
Cloudera和Hortonworks的这个竞争对手将其M5商业Hadoop发行版与支持、培训和咨询等服务（M3发行版是免费的，还与ApacheHadoop百分之百兼容）结合起来。
MapR与EMC结为了合作伙伴，EMC采用M5作为其EMCGreenplumHD企业版的基础。
Hadoop的最新（0.23）版本解决了MapR对Hadoop架构有抱怨的诸多地方，但是这并没有阻止这家公司继续将性能发挥到极致，声称提供的性能胜过传统的Hadoop发行版，而所需的硬件又只要一半。
1.11微软进入这个市场
EMC、IBM和甲骨文在2011年都大力追捧Hadoop，于是微软也进入这个市场就不足为奇了。
微软在去年推出了基于Azure云平台的测试版Hadoop服务，今年它承诺会推出与Windows兼容的基于Hadoop的大数据解决方案（BigDataSolution），这是微软SQLServer2012版本（首发日期还不知道）的一部分。
对于一款迄今为止在Linux上运行的开源平台来说，在Windows上运行无异于是项新本领。
微软的版本会是免费、开源的吗？
这方面还没有宣布，至于将来有没有基于第三方硬件的支持性设备，也没有任何动静，而微软与惠普及其他厂商合作开发了SQLServer并行数据仓库。
微软的主管们坚持认为，其发行版将“与ApacheHadoop核心保持一致、兼容。
”考虑到微软与从雅虎拆分出来的Hadoop专业厂商Hortonworks合作，开发Hadoop软件发行版、向Hadoop社区重新捐献代码，这很可能是真的。
1.12甲骨文走求大路线
今年1月发布的甲骨文大数据机（OracleBigDataAppliance）将甲骨文-Sun分布式计算平台与Cloudera的ApacheHadoop发行版、Cloudera管理器管理控制台、R分析软件的开源发行版以及甲骨文NoSQL数据库结合起来。
甲骨文还包括连接件，因而让数据能够在大数据机与甲骨文Exadata或传统的甲骨文数据库部署环境之间来回传送。
甲骨文为这套综合的软硬件“工程一体化系统”提供了一线支持；但是即使出现棘手的Hadoop难题，甲骨文也可以利用Cloudera的专长，它还可以介绍客户使用Cloudera的Hadoop培训和咨询服务。
如果喜欢，客户将来可以配置和使用大数据机捆绑软件。
它可能是清一色的Hadoop、清一色的NoSQL或者在同一平台上两种节点对半分。
该设备将完全通过全机架（full-rack）配置来提供，每个机架配备864GB主内存、216个处理器核心、648TB原始磁盘存储容量，以及节点之间每秒40千兆的InifiniBand内部连接。
软硬件总计售价将达到45万美元，每年还要收取12%的软硬件支持费。
这个价格颇具竞争力，相当于每TB不到700美元。
2Hadoop掀起大数据革命
导读：
开源的数据处理平台凭借其低成本、高扩展性和灵活性的优势已经赢得了多数网络巨头的认可。
现在Hadoop将进入更多企业。
IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理系统。
上个月Oracle和Microsoft也分别透露了将计划在明年发布基于Hadoop的产品。
两家公司都计划提供协助部署服务和企业级支持。
Oracle已经承诺将会在大数据设备中预装Hadoop软件。
大数据革命正以ApacheHadoop为中心如火如荼的进行着。
自从开源分布式数据处理平台在5年前发布时讨论之声就不绝于耳。
但在过去的18个月中，Hadoop赢得了客户的认可，并得到众多商业化的支持以及众多数据库和数据集成软件商的整合。
在众多厂商之中最著名的三个商业数据供应商当属Oracle、IBM和Microsoft。
2.1Hadoop会在未来成为大数据的重大技术吗?
Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。
Hadoop在很大程度上是受Google在2004年白皮书中阐述的MapReduce的技术启发。
MapReduce工作原理是将任务分解为成百上千块的小任务，然后发送到计算机集群中。
每台计算机再传送会自己那部分信息，MapReduce则迅速整合这些反馈并形成答案。
Hadoop的扩展性非常优秀，Hadoop可处理分布在数以千计的低成本X86服务器计算节点中的大型数据。
同时由于众所周知的摩尔定律，内存和磁盘的容量也在不断增长。
Hadoop对硬件的支持也在加强，现在每个节点可部署16核的处理器，12TB甚至24TB磁盘。
Cloudera透露其推出的产品每个节点的成本大约4000美元。
这个价格对于关系数据库部署每TB10000至12000美元来说极具竞争优势。
这种高容量低成本的组合引人注目，但Hadoop最吸引人的是其处理混合数据类型的能力。
Hadoop可以管理结构化数据，以及诸如服务器日志文件和Web点击流的数据。
同时还可以管理以非结构化文本为中心的数据，如Facebook和Twitter。
这种处理多类型数据的能力非常重要。
它催生了NoSQL平台和产品。
如Cassandra,CouchDB,MongoDB以及Oracle最新的NoSQL数据库。
而传统关系型数据库如Oracle，IBMDB2，MicrosoftSQLServer和MySQL则都不能处理混合数据类型和非结构化数据。
由于事务处理灵活性的需求，Hadoop获得大多数数据分析厂商的关注和支持。
2.2Hadoop已被广泛应用
现今，Hadoop已被认为是非结构化数据的专用技术。
低成本、高扩展性和灵活性等优势已成为处理大规模点击流量分析和广告定位等网络巨头（如AOL和comScore）的首选。
AOL三年多时间一直使用Hadoop。
AOL的研发团队在加利福尼亚州的MountainView部署了300节点的系统，该系统可以存储每天数十亿事件和超过500TB的点击流数据。
点击所带来流数据是高度结构化的，但数据量是非常庞大和多样的。
所以几乎不可能处理所有的提取、转换和负载工作。
AOL为了解决以上问题决定使用HadoopMapReduce处理分布在数百个计算节点的数据过滤和关联任务。
由于Hadoop为业务带来的优势，AOL的Hadoop研发团队在今年四月在其总部部署了700节点的系统。
Hadoop适用于所有类型数据的特性注定将使Hadoop在更广泛的领域使用。
例如提供托管服务和中小型企业应用服务提供商SunGrad。
他们将计划推出基于云的托管服务，旨在帮助金融服务公司处理他们基于HadoopMapReduce的数据处理。
商用软件厂商Tidemark最近也推出一款SaaS软件，这种基于云的性能管理应用使用MapReduce将混合数据源转化为产品或金融规划方案。
2.3三巨头大数据领域齐发力
在上月美国拉斯维加斯举行IOD年度大会上IBM院士、DB2总架构师CurtCotner宣布IBM将在明年推出内置NoSQL技术的DB2旗舰级数据库管理系统。
他还表示未来的数据库发展方向是非关系数据库NoSQL。
目前Google的BigTable和Amazon的Dynamo都用NoSQL型数据库，而传统的关系数据库在应付超大规模、高并发的SNS、web2.0网站已经力不从心。
同时IBM发布了一系列数据分析软件，包括云计算版本的InfoSphereBigInsights。
BigInsights是一套建立在Hadoop上的数据分析软件，能够处理企业用户收集大量非结构化资料。
微软也在10月12日在西雅图举行的SQLPASS2011峰会宣布将与从雅虎分拆出来的Hortonworks合作开发Hadoop，并将在ApacheHadoop上实现搭建WindowsAzure以及WindowsServer平台。
同时基于Hadoop的WindowsServer还会与微软现有的BI工具联合处理任务。
Oracle作为全球最大的关系型数据库提供商也有所行动。
其在2011Oracle全球大会上推出了BigDataAppliance。
BigDataAppliance是一个集成了Hadoop、NoSQLDatabase、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。
2.4Hadoop的未来
根据目前的状况来看，Hadoop作为企业级数据仓库体系结构核心技术，在未来的数年中将会保持持续增长的势头。
包括MapR、Zettaset、Cloudera、HStreaming、Hadapt、DataStax、Datameer这些与Hadoop相关的新公司已经获得投资，为人们所熟知，为各种市场带来最新技术。
与此同时下一代的MapReduce会完善很多之前不尽人如意的地方。
首先节点数将从目前的4000增加到6000-10000，其次并发的任务数从目前的40000增加到100000。
另外将继续加大对硬件支持，同时架构也会有所改变，包括更多编程模式的支持。
3大数据下的数据分析-Hadoop架构解析
随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。
作为一家互联网数据分析公司，我们在海量数据的分析领域那真是被“逼上梁山”。
多年来在严苛的业务需求和数据压力下，我们几乎尝试了所有可能的大数据分析方法，最终落地于Hadoop平台之上。
Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。
本文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。
3.1大数据分析的分类
Hadoop平台对业务的针对性较强，为了让你明确它是否符合你的业务，现粗略地从几个角度将大数据分析的业务需求分类，针对不同的具体需求，应采用不同的数据分析架构。
按照数据分析的实时性，分为实
升级会员 