数据存储方案.docx

1、数据存储方案引言文献是由icCael撰写的论文，论文讨论了可扩展的结构化数据的、非结构化的（包括基于键值对的、基于文档的和面向列的）数据存储方案（注:NSQ是支撑大数据应用的关键所在。事实上，将OL翻译为“非结构化”不甚准确,因为NOSQ更为常见的解释是：Not l SL(不仅仅是结构化)，换句话说,NOSQL并不是站在结构化SL的对立面，而是既可包括结构化数据,也可包括非结构化数据)。论文信息Scalae SQL and NoSL Data StoreRck Cttel Orignallyplhed i210, lst reise Decee201摘要BSTRACInhispaer,w xm

2、ine umberof QL and - cled “NoSQL” datatores esined t sclsmplOTP-stle applcation lds ver manyervers.Originaly motivted b We 2.0 aplicatns,hese ysms re deigned toscalet hosandor mlons ouer oing ptesas wel as rd， in contastto tadtionl DBSsan ata arehuses.We contrstte newystem on hi ata od, nsisnc ecans

3、ms， soage echaisms, duabilityuaanees,availbilit, query upport,an other dmensos. These ysestypcallysacriic om of thes esion， e.g database-e tanaton nsstency， in order chieveothers, e. ighe vaiaiiy and scaability.在这篇文献中,我们验证了许多SQ和所谓的NoSQ数据存储（它设计于支持简单的OTP风格的应用,能够用于扩展在很多服务器上）它最先由We 2.0应用引起,与传统的数据库管理系统和数

4、据仓库对比,这些系统设计为可扩展到数以千计或数以百万计的用户做更新，同时读取。我们对比了新系统上的数据模型，一致性机制, 存储机制,持久性保证，可用性,支持的查询以及其它属性，这些系统典型的牺牲(为了实现其它属性而去掉)了一些属性。如数据库常有的事务一致性,牺牲了这个是为了其它的属性，如高可用,可扩展。ote： Bibliogphic refernces or sstemsae not listed, bu Rsfor ore nforaican bendinhSysemRefrences tableat theend thi paper.注:参考书没列出来（翻译省）Cveat： tatnts

5、 hisaer ar aed on source and docuentation tha manot b reliable, nthe ytem deed re “moing targt,” so soe stemnts my be inorct. e hrughothr srcesefor dpnng on nformaion er. Neverthless,we ope ticomprhensisuveys seful! hc frfture correcins on th authoswebsie catdataore.警告:一些提及的书可能不可用。尽管如此,我们还是希望这篇综合的文献

6、对大家有帮助，我们网站:Diosur： he uthor on thtechnicaavry boardof Schoonr Tchoogis anhs a consultingiesav n sclable dtbas.透漏：作者是可扩展数据库商业顾问。1. OVERVIEWIn een yesanmber f ne ste have bn desined o provioohrizontal salailiy r impl readwritdaaba opeions distrbt over manseers. In contrast, trdiinal datbae producthav

7、coparatvly ltl orn abilit scale horizntllyonth applicions. his ppe xamines and cmpaesthe varios new ystem.近年,很多系统的设计提供良好水平扩展，支持在多服务器上分布式读写。相比较传统的系统，一般为无扩展,规模小。本篇文献研究与对比很多不同的新系统（Yol注，其实就是各种NOSQL设计进行对比,比如Mngo与Hbase分类,简介)Man the ew sstes are rferred to as “NQL”da tores. The deonf NoSQL, wich sand o“Not

8、 Only SL” or“No Relational”， s nt enrlygrd upo. For the puros f hispaper, oSQL ytem geerlyhavesix key feaue：NoSL等于ot OnlSQL, 或者Not Relationl(弱关系型数据库,与mysql比较起来)，NoSQL的ystm一般有6重要特征:. the atto hizonly sae“simple oprao”rughputoe anysevers,通过简单操作在多服务器上水平扩展的能力2.the abilityto replicat andtodistrbte （parti

9、ton) dtaoer manyservers,复制和分发 （分区) 数据在多个服务器的能力3.a smle calllevel interfa r potoco(in contrasto a Q inig）,一种简单的调用级接口或协议 (相比较于 SL 绑定)4. a weaker oncurren(并发性,并行性)modelnthe ACID tansations o most elatonal(SQL） aase yses,对比大多数关系数据库 （SQL) 数据库管理系统 AC 事务,它是一种较弱的并发模型. efficientusof istried idxesand RAMor da

10、a orage，有效地利用分布式的索引和 AM的数据存储6.and theaility t dymicall dd n attrues to ata rcords.动态地在数据记录中添加新的属性Th sts difer her ways, aithis pae e ontrat those differncs. hey range in fnctialityfom he simstdistributed hash, as suportedbte popular mmcached pn souc ace, toighly scalle pitioned tabl, as supported by

11、 ogs BigTale 1. In fact,BgTabl，mmcache，n Amazn Dnamo provded a “poo of oncet” thainspredany o thdata tores e descrbe here：这些系统在其他方面也有不同，在本文中我们对比了这些差异。它们的范围从简单的分布式哈希算法， 如流行的开源memched缓存，到高度可扩展的已分区表,如谷歌的BigTbe 1。事实上,BiTabe,memcached 和亚马逊的Dyamo 2 提供”概念证明”,催动了许多我们在这儿描述的数据存储：mcce deonstrte（论证,证明) ha i-meo

12、y dee can b hgl salabe, distiutin and replicatiobjectover utiplods.emcached 表明内存中索引可以是高度可伸缩、 分布式和在多个节点上复制对象。Dnao ioneertheidea ofvetul cnsienc a a wayo achiv igher avlabilt sclabili：t fetchd ae not guarandtbe uto-date,but updasaeguaanteedto be propagatd toallnoes vetualy.namo的先驱想了一个dea，以实现更高的可用性和可伸缩

13、性的最终一致性, 那就是: 获取数据不能保证是最新的，但保证这个最新能最终传播到所有节点。Biale desratd that pesitn codsa couldbe caedtohosandsofnoe，a f tat mst of th herytemsspieo.Bigabl 表明,持续的记录存储可以缩放到数千个节点,是其他系统最向往的。A ey feturo NSQL sytes s “shrenhing” horizonta scling replictig nd patitoingdataor many sever This allws tmto pport arge nuer

14、of ipereadwrite opeatios per second is simple opertin load is raitionally calle OLTP (onlietransactin processing)， butt is alo ommon moenw apicationsNoSQ 系统的一个核心特征是”无共享”的水平扩展 复制和数据分区在多台服务器。这使他们能够支持大量的每秒简单的读写操作。这个简单的操作负荷传统上称为 OLTP (联机事务处理),但这在 web 应用程序中很常见。Te NoSQL systemsdscri hergenrlly do not pveA

15、CIDrnsactiol poperts: udates ae evenlly ropagad, but the a limidaranton th nsistn f eads Sme autors suggest a “BASE” cronym in conatto t“AD”aoym：通常这里描述的 NoSQL 系统不提供事务的AID属性: 更新最终传播,但一致性的读取有有限的保证。对比CD的缩写,有些作者建议”BAS”的首字母缩略词,意义如下：BS = Basca Availble, Soft stte, Evnllyconsistn基本可用，软状态,最终一致AI Atoity， Cns

16、istency, Isation,and Durailty原子性、 一致性、 隔离和耐久性Th i s thtbygiving up ACID cnstras, necan aciemuh iger peromnc and calablit.这其中的想法是通过放弃CD约束,可以实现多更高的性能和可扩展性.we， the sysmsdiffer in o uch tey giv u.For ample,os o th system al hemseles “eventuall conitnt”, meang tat pdtes are evntullyragatedto all noes,may

17、of them proviemechanismfor some degree o ostc， suh a uti-versin cocurrenc onto(MCC）.然而，系统在他们放弃多少有所不同。例如,大部分的系统调用自己”最终一致性”,意味着更新最终传播到所有节点,但其中许多人提供一定程度的一致性的机制，例如多版本并发控制 （MVCC)Pponnts（n. （某事业、理论等的）支持者，拥护者)of NS oncie i Breer CAPtheorm 4, wch stats that a sste cn have ny tw utfthree of te fllowin proper

18、is: sistec, vailabiiy, n arton-tolerac he oQL sysemgener veu onisency. Hoeer， t trad-offs are opex, as will see.NoSQL 的拥护者经常援引 Eri Brer 帽定理 ,其中指出,一个系统可以有只有 2 / 3 的以下属性: 一致性、 可用性和分区容忍性。NoSQL系统通常会放弃一致性。然而,权衡取舍是复杂的正如我们将看到ew reaialBMshve al ben intducet rovie bettehorntal saling fr OLTP， hn ompared trit

19、iona DMS. fterexmiing the NoSL ytems， we willlook at heseL systes n compa th strentso te pproachs. Th Ssysem sv to rvi horontal calabity wtout abaoning SL and CID transactos. We will iscuthe rade-fs（权衡取舍） here.此外介绍了新的关系型 Dbms 提供更好水平扩展用于 OLTP,相比传统的 Rdbs。在检查后的 NoQL 系统，我们将看看这些 SQL 系统,然后比较优势。SQL 系统极力在不放

20、弃 SQL 和 ACID 事务的前提下提供水平可伸缩性。我们将在这里讨论权衡取舍nhis paper, wi refrtothte new QL andNoSQLsysems s datastores, sie the term“dtaase syste” s wieyusedto fer to traditionalBSs. oweer， w wil stil u the t “atbase” orefer to the stord data inse st Al of the dta stores havoe admiitative untta ou wuld al a database:

21、d may stred none fle， or irctoy, or a sme oher ecnsm tha dfnes e scpeof ata ued ro appications. ac daabas is a unt tsel, een thdataeis paitineda stritedovr mltipahies: teres n “federated datbse” cocti ths yss (s with ome reaiona andbject-oriented dtaas)， allowin multpe seprate-diistered dtabase to e

22、r aone. Most fth sytems allow horizotaprtiioing ofdta, storing rcrs n dife seves coring to some k；his is lled “shardig”. Some of e syem l allow vrica ptitining， were part of a sig recor rstreon diferentseer.在本文中,我们将新 SQL 和 NoSQ 系统称为数据存储，因为”数据库系统”一词被广泛用于指传统 DBMS。但是，我们仍将使用”数据库”一词指在这些系统中存储的数据引用。数据存储的都是

23、一些数据库的（行政，管理)单位，: 数据可能存储在一个文件中，或在目录中,或通过定义范围的数据使用的其他一些机制的一组应用程序。每个数据库是一座孤岛本身,即使数据库分区并且分布在多台机器： 在这些系统中有没有”联邦的数据库”概念 （如一些关系数据库和面向对象数据库)，允许多个单独管理的数据库,显示为一个(Yol注：也就是不允许多个单独的显示为一个)。大多数系统允许根据一些键，进行水平分区存储数据,记录在不同的服务器，;这就被所谓”切分”。一些系统还允许进行垂直分区,单个记录的分成部分,分布存储在不同服务器上。1.1Scope f his Papr此文献讨论范围efr proceding， e

24、larifiation is eeded in definng “rznal scalablity” and “simple opertions”. Tese defie e fcus of ths pe在开始之前,在定义”横向扩展”和”操作简单”需要一些澄清。这些定义本文的重点。By “imleperatons”, we refe o key lookups, reds n writeso one reordr a small number records. Tis i i conast to coplexqeriesorjois,ra-mostly ccess, orther aplici

25、on lods With the aven f t wb, specially Web .0 sies here milis ofusers ay oth rd and ritdaa, scalbiity for simple atbase oprtio hs becerimora. or example, applicatins may search d upatemlti-serverdabaseso electrnic ma， pesona prfile, web postig, wiks,usorrecrds, nlinedatin recors, casifie as,and man

26、 ernds of data. Tese all geey fit the deiniton of “sile opron” aplications:eadgor wriing a salnumber of elaedrecds inechration.“简单的操作,”指:我们是指关键的查找、 读取和写入一条记录或记录的小数目。这是与复杂的查询或联接(join）,只读主要访问,或其他应用程序加载相对比的。随着互联网的出现，特别是 eb.0 网站在那里数以百万计的用户可同时读取和写入数据,简单的数据库操作的可扩展性已变得更为重要。例如，应用程序可以搜索和更新多个服务器数据库上的电子邮件、 个人配置文件、 网络帖子、 wiki、 客户记录、 在线约会记录,分类广告和许多其他类型的数据。这些一般都符合定义的应用程序”操作简单”: 即读取或写入每个操作中的相关记录的小数目。Th term “horzota scalablity