数据存储方案.docx

数据存储方案.docx

《数据存储方案.docx》由会员分享，可在线阅读，更多相关《数据存储方案.docx（14页珍藏版）》请在冰点文库上搜索。

数据存储方案

引言

文献是由Ｒicｋ　Caｔｔelｌ撰写的论文，论文讨论了可扩展的结构化数据的、非结构化的（包括基于键值对的、基于文档的和面向列的）数据存储方案（注:

NＯSQＬ是支撑大数据应用的关键所在。

事实上，将ＮOＳＱL翻译为“非结构化”不甚准确,因为NOSQＬ更为常见的解释是：

NotＯｎlｙSＱL（不仅仅是结构化），换句话说,NOSQL并不是站在结构化SＱL的对立面，而是既可包括结构化数据,也可包括非结构化数据）。

论文信息

ScalaｂｌeSQLandNoSＱLDataStoreｓ

RｉckCａtteｌlOrigｉnally　pｕｂlｉｓhediｎ　2０10,lａstreｖiseｄDeceｍｂeｒ　201１

摘要

ＡBSTRACＴ

In　ｔhis　paｐer,　wｅｅxａmine　ａｎumber　ofＳQLandｓｏ-cａlｌed“NoSQL”data　ｓtoresｄesiｇnedtｏscａlｅ　sｉmplｅ　OＬTP-stｙleapplｉcationlｏａdsｏvermany　ｓervers.

OriginaｌlymotivａtedbｙWeｂ2.0apｐlicatｉｏns,　ｔheseｓysｔｅmsａredeｓignedto　scale　tｏｔhoｕsandｓ　ormｉｌlｉonsoｆ　uｓerｓｄoingｕpｄａtes　aswelｌasrｅａdｓ，incontｒast　totｒadｉtionａlDBＭSs　anｄｄataｗarehｏuses.

Wecontrａst　tｈenew　ｓystemｓonｔhｅiｒｄataｍodｅｌ,ｃｏnsisｔｅncｙｍecｈanｉsms，sｔoｒageｍechaｎisms,duｒability　ｇuaｒanｔees,　availａbilitｙ,queryｓupport,　anｄotherdｉmensｉoｎs.Theseｓysｔeｍs　typｉcally　sacriｆicｅｓomｅofthesｅｄｉｍeｎsionｓ，e.g．database-ｗｉｄetｒanｓaｃtｉonｃｏnsｉstency，inorderｔｏａchieve　others,e.ｇ.ｈigheｒａvaiｌaｂiｌiｔyandscaｌability.

在这篇文献中,我们验证了许多SQＬ和所谓的‘NoSQＬ’数据存储（它设计于支持简单的OＬTP风格的应用,能够用于扩展在很多服务器上）

它最先由Weｂ2.0应用引起,与传统的数据库管理系统和数据仓库对比,这些系统设计为可扩展到数以千计或数以百万计的用户做更新，同时读取。

我们对比了新系统上的数据模型，一致性机制,存储机制,持久性保证，可用性,支持的查询以及其它属性，这些系统典型的牺牲（为了实现其它属性而去掉）了一些属性。

如数据库常有的事务一致性,牺牲了这个是为了其它的属性，如高可用,可扩展。

Ｎote：

Bibliogｒａphicreferｅncesｆorsｙstems　aｒenotlisted,buｔＵRＬs　forｍoreｉnforｍaｔiｏｎ　canbe　ｆｏｕnd　in　ｔhｅ　Sysｔem　Refｅrencestable　atthe　endｏｆ　thiｓpaper.

注:

参考书没列出来（翻译省）

Cａveat：

Ｓtatｅｍｅntsｉｎ　ｔhis　ｐaｐerarｅｂaｓedonsourceｓanddocuｍentationthaｔmaｙ　notbｅreliable,ａnｄ　theｓyｓtemｓdeｓｃｒｉｂedａre“moｖingtargｅtｓ,”sosoｍesｔａtemｅntsmａybeinｃoｒrｅct.Ｖeｒｉｆｙｔhrｏugh　othｅrsｏｕrces　ｂeforｅdｅpｅnｄｉngonｉnformaｔionｈerｅ.Neverthｅless,　weｈopetｈiｓ　comprｅhensiｖｅ　suｒvey　ｉsｕseful!

Ｃhｅcｋfｏr　fｕturecorrecｔiｏnsonthｅauthoｒ’s　web　siｔecatｔ／dataｓｔoreｓ.

警告:

一些提及的书可能不可用。

尽管如此,我们还是希望这篇综合的文献对大家有帮助，我们网站:

Diｓｃｌosurｅ：

Ｔheａuthorｉｓ　onthｅ　technicaｌ　aｄvｉｓｏryboard　ofSchoonｅrTｅchｎoｌogiｅsanｄ　hａsaconsulting　ｂｕｓiｎeｓs　aｄvｉｓｉｎｇｏnscａlabledａtａbaｓｅs.

透漏：

作者是　可扩展数据库商业顾问。

1.OVERVIEW

Inｒeｃenｔyeａｒs　a　nｕmberｏfneｗｓｙsteｍｓhavebｅｅndesiｇnedｔoproviｄｅ　ｇooｄ　hｏrizontalsｃalaｂiliｔyｆｏrｓimplｅread／writｅ　daｔabaｓｅopeｒａｔionsdistrｉbｕtｅｄovermanｙ　seｒｖers.Incontrast,trａdiｔiｏnaldatａbaｓeproductｓ　havｅ　coｍparatｉvｅlylｉｔtlｅor　nｏabilitｙｔｏscalehorizｏntａlly　on　thｅｓｅapplicａｔions.Ｔhispａpeｒｅxaminesandcｏmpaｒes　thevarioｕsnewｓystemｓ.

近年,很多系统的设计提供良好水平扩展，支持在多服务器上分布式读写。

相比较传统的系统，一般为无扩展,规模小。

本篇文献研究与对比很多不同的新系统（Yol注，其实就是各种NOSQL设计进行对比,比如Mｏngo与Hbase分类,简介）

Manｙｏｆ　theｎewsｙsteｍsarerｅferredtoas“NｏＳQL”　daｔａｓtores.Thedeｆｉｎｉｔｉon　ｏfNoSQL,wｈichsｔandｓｆoｒ　“NotOnlySＱL”or　“NoｔRelational”，ｉsnｏtenｔｉrｅly　ａgrｅｅdupoｎ.Forthepurｐosｅｓｏfｔhis　paper,ＮoSQLｓyｓtemｓgeｎerａlｌy　have　sixkeyfeaｔuｒeｓ：

NoSＱL等于ＮotOnlｙ　SQL,或者NotRelationａl（弱关系型数据库,与mysql比较起来），NoSQL的ｓystｅmｓ一般有6重要特征:

１.theaｂｉｌｉtｙ　tohｏｒizonｔａlｌysｃaｌe　“simpleopｅraｔｉoｎ”　ｔｈrｏughput　oｖeｒｍany　seｒvers,

通过简单操作在多服务器上水平扩展的能力

2.　theability　toreplicatｅand　to　distrｉbｕte（partitｉon）dａta　oｖermany　servers,

复制和分发（分区）数据在多个服务器的能力

3.　asｉmｐlecall　levelinterfaｃｅｏrpｒotocoｌ　（incontrast　ｔoaＳQＬｂinｄiｎg）,

一种简单的调用级接口或协议（相比较于SＱL绑定）

4.aweakerｃoncurrenｃｙ（并发性,并行性）　model　ｔｈａn　theACIDtｒansaｃtionsoｆmostｒelatｉonal　（SQL）ｄａｔaｂaseｓysｔeｍs,

对比大多数关系数据库（SQL）数据库管理系统ACＩＤ事务,它是一种较弱的并发模型

５.efficient　usｅ　ofｄistriｂｕｔediｎdｅxes　andRAM　ｆordaｔaｓｔorage，

有效地利用分布式的索引和ＲAM　的数据存储

6.andthe　aｂilitytｏdyｎａmicallｙａddnｅｗattrｉｂuｔestoｄatarｅcords.

动态地在数据记录中添加新的属性

Thｅｓｙstｅｍsdifｆerｉｎｏｔherways,aｎｄ　iｎ　thispaｐeｒｗeｃontraｓtthosedifferｅncｅs.Ｔheyrangeinfｕnctiｏｎality　fｒomｔhesimｐｌｅst　distributedhashｉｎｇ,assupｐorted　bｙ　tｈepopularmｅmcachedｏpｅnsouｒcｅｃacｈe,to　ｈighlyscalａｂlepａｒｔitionedtablｅｓ,assupportedbyＧｏogｌｅ’sBigTaｂle［1].Infact,　BｉgTablｅ，　mｅmcacheｄ，　ａnｄAmazｏn’ｓDｙnamo［２]provｉdeda“pｒooｆofｃonceｐt”thaｔ　inspｉred　ｍanyoｆthｅ　dataｓtoresｗedescrｉbehere：

这些系统在其他方面也有不同，在本文中我们对比了这些差异。

它们的范围从简单的分布式哈希算法，如流行的　开源memcａｃhed　缓存，到高度可扩展的已分区表,如谷歌的　BigTａbｌe[1]。

事实上,BiｇTabｌe,memcached和亚马逊的Dyｎamo[2］提供”概念证明”,催动了许多我们在这儿描述的数据存储：

∙Ｍｅmcａcｈeｄdeｍonstrａteｄ（论证,证明）ｔhaｔiｎ-meｍoｒyｉｎdeｘeｓcanbｅhｉgｈlｙsｃalabｌe,distｒiｂutinｇandreplicatiｎｇ　objectｓ　overｍuｌtiplｅ　ｎodｅs.

∙Ｍemcached表明内存中索引可以是高度可伸缩、分布式和在多个节点上复制对象。

∙Dｙnaｍoｐioneerｅｄ　the　ideaof　ｅveｎtuａlcｏnsiｓｔencｙaｓaway　ｔoachiｅvｅｈigheravａｉlabilｉtｙａｎｄscａlabiliｔｙ：

　ｄａtａfetchｅdaｒenotguaranｔｅｅd　tｏ　beuｐ－to-date,　butupdaｔｅs　aｒe　guaｒanteed　tobepropagatｅdto　all　noｄesｅveｎtuaｌly.

∙Ｄｙnamo的先驱想了一个ｉdea，以实现更高的可用性和可伸缩性的最终一致性,那就是:

获取数据不能保证是最新的，但保证这个最新能最终传播到所有节点。

∙BiｇＴaｂledeｍｏｎsｔratｅdthatpeｒsiｓtｅnｔｒｅcoｒd　sｔｏｒaｇｅcould　beｓcaｌed　to　ｔhoｕsands　of　noｄeｓ，　afｅａｔtｈatmｏstofthｅｏｔher　ｓyｓtems　ａspiｒe　ｔo.

∙BigＴablｅ表明,持续的记录存储可以缩放到数千个节点,是其他系统最向往的。

 Aｋeyfeａturｅ　oｆNｏSQLsyｓteｍsｉs“shａreｄ　nｏｔhing”horizontaｌscａling–replicａtiｎgａndpaｒtitｉoｎing　data　oｖｅrmanyseｒverｓ．Thisallｏwstｈｅm　toｓｕpport　ａｌargenuｍｂerofｓiｍpｌe　read／writeopeｒatioｎspersecond．ＴｈissimpleoperａtiｏnloadisｔraｄitionallycalleｄOLTP（onliｎe　transactiｏnprocessing），but　ｉtisalｓoｃommonｉｎmoｄeｒn　wｅｂapｐｌications

NoSQＬ系统的一个核心特征是”无共享”的水平扩展——复制和数据分区在多台服务器。

这使他们能够支持大量的每秒简单的读写操作。

这个简单的操作负荷传统上称为OLTP（联机事务处理）,但这在web应用程序中很常见。

TｈeNoSQLsystems　dｅscriｂｅｄherｅ　genｅrａllydonotpｒｏvｉｄe　ACID　ｔrａnsactioｎａlpｒopertｉｅs:

uｐdatesaｒeevenｔｕａllyｐropagaｔｅd,buttheｒｅaｒｅlimiｔｅd　ｇｕarantｅｅｓ　onthｅｃｏnsistｅnｃｙｏfｒeads．Sｏmeautｈorssuggesta“BASE”ａcronyminconｔｒaｓt　totｈｅ　“AＣＩD”　aｃｒoｎym：

通常这里描述的NoSQL系统不提供事务的　AＣID　属性:

更新最终传播,但一致性的读取有有限的保证。

对比ＡCＩD的缩写,有些作者建议”BASＥ”的首字母缩略词,意义如下：

∙BＡSＥ=BasｉcaｌｌｙAvailａble,Softstａte,Evｅnｔｕａlly　consistｅnｔ

∙基本可用，软状态,最终一致

∙AＣIＤ＝Atoｍiｃｉty，Cｏnsistency,Isｏｌation,　andDuraｂilｉty

∙原子性、一致性、隔离和耐久性

Thｅiｄｅａｉsthａt　by　givingupACIDcｏnstraｉｎｔs,ｏne　canacｈieｖｅ　muｃhｈigｈerperｆoｒmａncｅandｓcalabｉlitｙ.

 这其中的想法是通过放弃ＡCＩD约束,可以实现多更高的性能和可扩展性.

Ｈｏwｅｖeｒ，thesysｔｅms　differinｈoｗｍuchtｈeygivｅuｐ.　Forｅｘample,　ｍosｔoｆthｅsystemｓｃalｌｔhemselｖes“eventuallｙconｓiｓtｅnt”,meanｉｎgtｈatｕpdａtesareevｅntuａlly　ｐrｏｐagated　toallnoｄes,　ｂｕｔ　maｎy　ofthemproviｄe　mechanismｓ　forsomedegreeoｆｃoｎｓｉstｅｎcｙ，suｃhaｓｍuｌti-versiｏncoｎcurrencｙｃontｒoｌ　（MＶCC）.

然而，系统在他们放弃多少有所不同。

例如,大部分的系统调用自己”最终一致性”,意味着更新最终传播到所有节点,但其中许多人提供一定程度的一致性的机制，例如多版本并发控制（MVCC）

Pｒｏponｅnts（n.（某事业、理论等的）支持者，拥护者）　ofNｏSＱＬoｆｔｅn　ciｔeＥｒiｃBreｗer’ｓCAP　theorｅm[4],wｈｉchstatｅsthatasｙsteｍcａnhaveｏnｌytwｏｏut　ｏf　threeoftｈefｏllowinｇproperｔiｅs:

ｃｏｎsisteｎcｙ,ａvailabiｌiｔy,ａnｄｐarｔｉtｉon-toleraｎcｅ．ＴheＮoＳQLsysｔemｓ　generａｌｌｙｇｉve　uｐｃonｓisｔency.Hoｗeｖer，tｈｅtradｅ-offsareｃoｍpｌex,aswｅ　ｗillsee.

NoSQL的拥护者经常援引EriｃBrｅｗer帽定理[４],其中指出,一个系统可以有只有2/3的以下属性:

一致性、可用性和分区容忍性。

NoSQL　系统通常会放弃一致性。

然而,权衡取舍是复杂的正如我们将看到

Ｎewreｌaｔiｏｎal　ＤBMＳs　hａvealｓｏbｅenintｒｏduceｄ　tｏｐroviｄebetteｒ　horｉｚｏntalsｃalingfｏrOLTP，ｗhｅnｃomparedｔｏtrａｄitionaｌＲDＢMSｓ.Ａfter　exａmiｎingtheNoSＱLｓyｓtems，wewill　lookatｔhese　ＳＱLsysteｍsａnｄcompaｒｅthｅstrenｇtｈs　oｆtｈeａpproachｅs.ThｅSＱＬ　sysｔemｓsｔｒｉvｅtoｐrｏviｄｅhorｉｚontalｓcalabｉｌitywｉtｈoutabaｎｄoningSＱLandＡCIDtransactｉoｎs.Wewillｄiscuｓｓ　theｔrade-ｏｆfs（权衡取舍）here.

此外介绍了新的关系型Dbms提供更好水平扩展用于OLTP,相比传统的Rdbｍs。

在检查后的NoＳQL系统，我们将看看这些SQL系统,然后比较优势。

SQL系统极力在不放弃SQL和ACID事务的前提下提供水平可伸缩性。

我们将在这里讨论权衡取舍

Ｉn　ｔhispaper,ｗｅwiｌｌrefｅr　tｏ　ｂoth　tｈenewＳQLand　NoSQL　sysｔemsａsdata　stores,siｎｃetheterm　“dａtaｂasesysteｍ”ｉswiｄeｌy　used　toｒｅfertotraditional　ＤBＭSs.Ｈoweｖer，wｅwiｌlstiｌluｓｅthetｅｒｍ“ｄatａbase”ｔo　refertothestorｅddatain　ｔｈｅsesｙｓtｅｍｓ．Aｌlofthedａtastoreshavｅ　ｓoｍeadmiｎiｓtｒativeunｉt　tｈaｔｙouwｏuldｃalｌadatabase:

　dａｔａmayｂｅstｏredｉn　onefｉle，orｉｎ　ａｄirｅctoｒy,orｖｉasｏmeoｔherｍecｈａnｉsmthaｔdｅfｉnesｔｈescｏpe　ofｄatauｓed　ｂｙａｇroｕｐｏｆappｌications.Ｅacｈdaｔabasｅisaｎｉｓｌａｎｄuntｏｉtselｆ,eｖenｉｆ　thｅ　datａｂaｓe　ispaｒｔitiｏned　aｎｄｄｉstriｂｕted　ovｅrmｕltipｌｅ　ｍaｃhiｎes:

tｈere　ｉsnｏ“federateddatａbａse”coｎcｅｐt　iｎthｅsｅｓysｔｅｍs（ａswithｓomereｌaｔionaｌand　ｏbject-orienteddａtaｂaｓｅs），allowinｇmultｉpｌesepａrateｌｙ-ａdｍiｎistereddａtabaseｓtoａｐｐeａraｓ　one.Mostｏf　thｅsyｓtemsallowhorizoｎtaｌ　pａrtiｔioｎingof　dａta,storingrｅcｏrｄsｏndiｆfｅｒeｎｔseｒveｒsａｃcorｄingtosomekｅｙ；　ｔhisisｃａlled“shardiｎg”.Someofｔｈesyｓｔemｓａlｓｏallowvｅrｔicaｌpａｒtitiｏning，wｈerepartｓofasiｎgｌｅrecorｄａrｅ　stｏreｄ　ondifｆerent　seｒｖerｓ.

在本文中,我们将新SQL和NoSQＬ系统称为数据存储，因为”数据库系统”一词被广泛用于指传统DBMS。

但是，我们仍将使用”数据库”一词指在这些系统中存储的数据引用。

数据存储的都是一些数据库的（行政，管理）单位，:

数据可能存储在一个文件中，或在目录中,或通过定义范围的数据使用的其他一些机制的一组应用程序。

每个数据库是一座孤岛本身,即使数据库分区并且分布在多台机器：

在这些系统中有没有”联邦的数据库”概念（如一些关系数据库和面向对象数据库），允许多个单独管理的数据库,显示为一个（Yol注：

也就是不允许多个单独的显示为一个）。

大多数系统允许根据一些键，进行水平分区存储数据,记录在不同的服务器，;这就被所谓”切分”。

一些系统还允许进行垂直分区,单个记录的分成部分,分布存储在不同服务器上。

1.1　ScopeｏfｔhisPapｅr

此文献讨论范围

Ｂefｏrｅprocｅeding，ｓｏｍeｃlarifiｃationisｎeededindefinｉng“ｈｏrｉzｏnｔalscalabｉlity”and“simpleoperａtions”.Tｈesedefiｎeｔｈefｏcusofthｉspａｐeｒ．

在开始之前,在定义”横向扩展”和”操作简单”需要一些澄清。

这些定义本文的重点。

By“ｓimｐle　ｏperatｉons”,werefeｒｔokeylookups,reａdsａnｄwrites　oｆonereｃord　ｏrasmallnumberｏｆ　records.Tｈisiｓiｎconｔｒasttocoｍplex　qｕeries　or　joiｎs,　rｅaｄ-　mostlyａccess,or　ｏtherapｐlicａｔionloａds．Withtheaｄvenｔｏftｈｅwｅb,ｅspeciallyWeb２.0siｔesｗheremiｌliｏｎsof　usersｍayｂothrｅａdandｗritｅ　daｔa,scalａbiｌityforsimpleｄatａbaseopｅrａtioｎｓhａsbecｏｍe　ｍｏrｅ　imｐorｔaｎｔ.Ｆorexample,applicatiｏnsmaysearchａｎdupｄate　mｕlti-server　dａｔabases　oｆelectrｏnicmaｉｌ，peｒsonaｌprｏfileｓ,webpostiｎgｓ,wikｉs,　ｃusｔoｍｅr recｏrds,ｏnline　datinｇrecorｄs,cｌaｓsifieｄaｄs,　andmanｙｏｔｈer　ｋｉndsofdata.Tｈeseallgeｎeｒａｌｌyfitthedeｆinitｉonof“siｍｐleopｅrａｔｉon”apｐlications:

　ｒeadｉｎg　orwriｔingasｍaｌl　numberofｒelaｔed　recｏｒdsin　eａch　ｏｐｅration.

“简单的操作,”指:

我们是指关键的查找、读取和写入一条记录或记录的小数目。

这是与复杂的查询或联接（joinｓ）,只读主要访问,或其他应用程序加载相对比的。

随着互联网的出现，特别是Ｗeb　２.0网站在那里数以百万计的用户可同时读取和写入数据,简单的数据库操作的可扩展性已变得更为重要。

例如，应用程序可以搜索和更新多个服务器数据库上的电子邮件、个人配置文件、网络帖子、wiki、客户记录、在线约会记录,分类广告和许多其他类型的数据。

这些一般都符合定义的应用程序”操作简单”:

即读取或写入每个操作中的相关记录的小数目。

Thｅterm“horｉzoｎtaｌscalabｉlity