淘宝网计算机技术的浅分析研究Word文档格式.docx
《淘宝网计算机技术的浅分析研究Word文档格式.docx》由会员分享,可在线阅读,更多相关《淘宝网计算机技术的浅分析研究Word文档格式.docx(14页珍藏版)》请在冰点文库上搜索。
指导教师(签字):
年月日
课程设计成绩(100分制)
报告正文
目录
1综述 -4-
3双十一相关数据 -9-
3.1访问量数据 -9-
3.2交易数据 -9-
3.3终端数据 -12-
4软硬件系统成本 -12-
参考成本 -12-
预估成本 -13-
5总结 -13-
参考文献 -14-
-3-
1综述
2计算机技术
在双11这个特殊的日子里,阿里是如何用世界级的技术创新,支撑世界级的经济的呢?
一、异地多活:
给1000公里外的飞机换引擎
去年双11,阿里巴巴在全球首创交易系统“异地双活”,而今年有了更大的突破:
在支付宝这样高度复杂与严谨的金融系统中,实现1000公里以上的“异地多活”能力。
“异地多活”已经超越了两地三中心等传统灾备概念,可实现多地数据中心像一个数据中心一样工作,即使某一处数据中心出现故障,双11在线业务仍然能够快速恢复正常运转。
“数据中心的切换,要在用户毫无感知的情况下进行,这就像为正在飞行的波音747飞机更换引擎。
不仅不能影响飞行,飞机上的乘客也不能有感觉”。
目前,阿里巴巴支撑双11的多地数据中心,最远距离已超过1000公里,这就意味着阿里巴巴具备了在全国任意节点部署系统的能力。
公开资料显示,全球能够做到异地多活技术的只有少数几家互联网巨头,如Google、Facebook。
但二者的搜索、社交场景对数据同步性的要求远不如交易、支付场景苛刻,“如果你账户里的钱无缘无故地多一个0或少一个0,后果都很严重。
”
同时,阿里巴巴正在将这一过程中积累的技术逐步开放。
比如,可以在较长延时的情况下解决多点数据同步的技术,已经通过阿里云数据传输产品(DataTransmission)对外开放,能够让云用户轻松实现远距离、毫秒级异步数据传输。
二、OceanBase:
双11背后的中国自研数据库
今年双11的核心交易流量,100%由金融级海量数据库OceanBase承载。
这一事件将对全球IT业的格局产生深远影响。
OceanBase由阿里巴巴自主研发,是中国首个具有自主知识产权的数据库,也是全球首个应用在金融业务的分布式关系数据库。
OceanBase2010年诞生,2014年支撑了10%的双11交易流量。
今年6月,网商银行开业,底层数据库全部采用OceanBase,是第一家完全摆脱商业数据库的金融机构。
而PayPal等美国金融机构,仍然主要依靠Oracle等。
与传统数据库相比,OceanBase的系统维护,不需要昂贵的共享存储设备和高性能服务器,还能节省数据库软件的许可费,和常用的商业数据库相比,成本不到其一半。
同时,分布式的系统,可以更好地应对双11这类大流量冲击:
弹性能力可保证大促之前完成一键扩容、大促之后实现一键缩容。
同样,OceanBase也计划于明年通过阿里云的公共云计算平台对外界开放。
三、一键建站:
90分钟再造淘宝天猫
每年双11,为了应对巨大的流量冲击,阿里都需要新建淘宝和天猫的交易单元,与原有的系统一起“协同作战”,以便分散流量,减轻系统负担。
以往,重新部署一套交易单元至少需要提前1个月的时间准备。
今年双11,由于采用了“一键建站”的技术,使得这项费时费力的巨大工程,得以在90分钟之内自动化完成。
一键建站,是指在基础设施具备的条件下,通过阿里自研的自动化软件,将中间件、数据库、商品交易系统、商品展示系统等上百个电商核心系统,像搭积木一样部署完成。
整个过程一键完成,基本无需人工干预,所需时间不到90分钟。
四、计算能力输出:
商家可日处理400万订单
今年,阿里云继续通过聚石塔向双11商家输送充足的计算能力。
搭建在阿里云平台上的聚石塔,处理99%以上的双11订单,可支持单个天猫商家日处理订单超过400万单。
2012年开始,聚石塔以阿里云为基础推出一整套的解决方案,为天猫、淘宝平台上的服务商及商家服务。
聚石塔部署在阿里云的远程数据中心中,安全条件、稳定性、性能远超过商家的办公环境和传统IDC,针对设备故障,断网断电等均有应急预案。
在传统模式下,商家做促销时要进行服务器扩容,小卖家要去电脑城买几台机器扛回家,大卖家则需要临时寻找IDC资源,在应对了促销节点之后,业务量回落,服务器又会闲置无用,造成了很大浪费。
通过聚石塔,商家可随时线上扩充服务器资源,想用几天就用几天,用后再缩回去,低碳环保又省钱。
2014年,聚石塔处理了96%的双11订单,无一故障、无一漏单。
2015年,通过云计算系统的优化,中间件能力的使用,服务商应用系统整体性能比之前提升62%,能支持单个商家每天400万以上的订单处理能力。
五、金融云架构:
日支付处理能力达10亿笔
据介绍,目前支付宝在技术上已全面升级到金融云架构,可以支持每日十亿笔以上的支付处理能力,并且具备了金融级的“异地多活”容灾能力。
跟支付宝有合作的200多家银行,一直是双11支付保障的主力军。
今年各家银行的系统容量在去年双11的基础上扩大了一倍。
从8月份开始,各家银行就逐步对扩容后的系统进行仿实战的高强度压力测试。
压测覆盖了用户从开始购物到创建交易、访问收银台到最终完成支付的整个链路,确保包含基础设施、业务系统和银行渠道在内的整个系统可以稳定支撑双11的惊人支付洪峰。
六、ODPS:
数据狂欢背后的超强计算引擎
“整个天猫双11,你看到的一切,几乎都是由算法决定的。
”在数据科学家们看来,双11是无数个“0和1”、成千上万套算法的叠加。
这是一场机器和数学公式主导的全球购物狂欢。
今年双11,无线端的交易占了主导地位。
如何利用阿里巴巴存储的数百PB数据,在狭小的手机屏幕为用户创造更智能化的购物体验?
这一切都通过阿里云自主研发的大数据处理平台ODPS来计算。
今年双11,淘宝、天猫、支付宝、菜鸟等所有大数据处理工作,都由阿里云ODPS来完成。
在刚刚结束的2015世界SortBenchmark排序比赛中,阿里云ODPS用377秒完成了100TB的数据排序,打破了此前ApacheSpark创造的1406秒纪录,一举创造4项世界纪录。
此外,ODPS的实时计算系统StreamSQL,双11当天预计日消息处理量将达上万亿条。
而这一能力,正在通过阿里云逐步开放出来。
通过ODPS的大数据和实时计算能力,淘宝天猫正在进行这样的尝试:
让商家可以根据消费者的实时位置推荐商品。
比如,当外地游客在逛西湖时,不妨推荐一些杭州特产。
七、dataV:
实时触摸数据世界的脉搏
在阿里巴巴每天海量的交易面前,如何精准把握由数据脉搏带来的趋势也成为极大的挑战。
对此,阿里巴巴研发了dataV数据可视化引擎,该引擎完全基于Web技术,可快速、低成本的部署。
用于内部的商品、交易、支付、数据中心等的可视化呈现和管理,帮助实现更精准的调控。
自2013年起,双11交易数据大屏成为对外直播狂欢节的重要窗口,而在2015年的全球狂欢节上,这一巨型数据大屏移植到水立方,以实时动态可视图的方式向全球用户直播双11的数据魅力。
水立方数据大屏上,该数据可视化引擎既可以利用3Dwebgl技术从宏观角度展示双十一平台总体交易订单实时流向的全量展示,也可以通过便捷的交互手段,深入到城市级别进行微观的人群画像分析。
目前,这一技术已计划通过阿里云向外输出,很快将会有标准化产品推出。
八、全站Https加密保全球用户访问安全
双11已经成为全球的节日,如果非洲的朋友想买个中国产的马桶,他的体验会是如何呢?
为提供更安全快速的访问体验,阿里云今年在全球部署CDN的国家和地区增加到30多个,可从容应对越来越多的海外用户同时访问。
在国内,阿里云拥有近500个CDN节点,单节点带宽达到40G以上,实现毫秒级响应。
不仅要快,还要安全,阿里云CDN为保障此次双11狂欢节,帮助淘宝、天猫、聚划算等阿里电商平台全面实现了HTTPS加密访问,能有效防止资源被劫持,使用户端与服务器之间收发的信息传输更加安全。
据悉,这也是全球首家大型电商网站实现全站Https加密访问。
九、手机淘宝1秒打开
为了让今年双11消费者始终能保持飞一般的体验,手机淘宝搭建了一个世界级无线云平台,能够同时服务亿级用户,并实现了一系列技术优化:
内存节省50%,滑动提速20%,1秒打开手淘页面。
此外,手淘的攻城狮们还建立了2G网络实验室,通过不断模拟测试,实现2G弱网环境下的手机也能实现1秒建立连接,让没有智能手机和高速网络的消费者,也能拥有更流畅的购物体验。
3双十一相关数据
3.1访问量数据
国内移动互联网大数据监测平台TrustData于11月14日发布两份报告,报告显示,双十一当天淘宝日活跃用户过亿。
图1(TrustData数据报告)
3.2交易数据
历年阿里双十一销售数据
图2(淘宝历年销量额数据)
回顾历年双十一,其成交额呈几何级增长,2009年,淘宝在11月11日发起“品牌商品五折”活动,当天销售额1亿元;
2010年同一天,销售额翻了9倍,增至9.36亿元;
2011年,成交额飙升至52亿元;
2013年,阿里双十一实现191亿成交额,仅天猫就达成了132亿元。
2013年,双11“光棍节”支付宝交易额达350.19亿元。
这相当于中国日均社会零售总额的5成,是美国年度最大网络购物日——“网络星期一”(感恩节后的第一个星期一)的2.5倍以上。
信息显示,过去几年,中国社会零售总额涨了1.8倍,而网络零售总额则飙涨了19倍。
2015双十一阿里巴巴的实时数据显示:
18秒1个亿;
72秒10个亿;
105秒跨境贸易成交额超过去年双十一全天;
5分45秒超50亿;
仅用12分28秒,交易额就超过100亿元。
其中无线交易额占比74.83%。
去年交易额过100亿元用了38分钟28秒;
74分18秒突破300亿;
4小时26分31秒,2015天猫双11交易额过362亿元,超过2013年双11全天交易额。
7小时45分42秒,交易额突破417亿元,超过2014年美国感恩节购物季线上交易总额。
9小时52分,天猫的交易额突破了500亿元。
而2014年全天的交易量为571亿元。
这意味着,不到10个小时,今年“双11”的交易额就直追去年。
16小时39分44秒,交易额已经突破700亿,无线占比69%。
17小时28分,天猫双11交易额突破719亿元。
据国家统计局数据显示,2014年我国社会消费品零售总额262394亿元,日均718.88亿。
11日24时,2015“天猫双11”交易额达912.17亿元,远远超过了2014年“双11”的571亿元,阿里公布“双十一”交易数据,全天整体交易额912.17亿元,其中移动端占比68%;
累计物流订单4.68亿,累计电子面单生成量1.21亿;
全球已成交国家/地区232个。
广东、浙江、江苏排在全国消费省份前三名。
最败家城市前五名为广东、浙江、江苏、上海、北京。
最大消费县为:
江苏昆山、浙江义乌、浙江慈溪、四川双流、江苏常熟。
图2(双十一实时数据)
3.3终端数据
无线支付的用户同比高速增长
1111购物狂欢节中,支付宝交易笔数高达1.058亿笔,通过无线设备支付订单笔数共有近900万笔,为2011年的5倍,在整体支付中的占比则提高到8%以上。
据支付宝方面公布的数据,2012年11月11日无线支付的峰值出现在凌晨,5分钟内成交10万6千笔,而2011年无线支付的峰值为5分钟内1万笔。
截至11日中午12:
00前,支付宝无线支付的笔数已经超过400万笔,为2011年11·
11当天全部无线支付笔数的2倍。
手机淘宝支付宝交易额破9.4亿
2013年11月11日当天,支付宝交易额过百万的手机淘宝卖家数达到76家。
排名榜首的jackjones官方旗舰店,当日交易金额达630万元,ochirly官方旗舰店和GXG官方旗舰店分列二三位。
而女装、男装、女鞋、内衣家居服和美容化妆品成为了手机淘宝成交最为活跃的类目。
从成交的区域分布来看,上海、北京和杭州分列前三位,形成第一集团。
成都、宁波、广州、武汉和重庆依次位列四到八名。
随着智能手机的快速普及,移动购物人群将与日俱增,预计2012年底,手机淘宝累计登录用户数将超过2亿。
4软硬件系统成本
参考成本
2013年第二至第四季度,阿里巴巴各类运营成本合计同比增长33%,增至15.9亿美元,产品开发成本同比增长34%,增至38.9亿美元。
仅去年第四季度,阿里巴巴总成本同比攀升52%,至99.4亿元(约合16亿美元)。
图3阿里巴巴总成本总支出(单位:
十亿人民币)
预估成本
淘宝的技术是可以用钱来算出来的。
淘宝网在2009年以前的技术,在当时来看是很有难度,但放到今天,已经不是制约网站发展的瓶颈了,分布式存储、KV缓存、NoSQL这些都有开源的了(即便是淘宝开源的,竞争对手也可以免费用),所以之前的技术,并不是淘宝最具竞争力的因素。
在2009年之后,淘宝才奠定了在业内顶尖的技术实力。
其实如果有实力做到淘宝这样的业务规模,技术问题自然能找到人来解决,有钱是可以做出一个淘宝网出来的。
如果一定要谈钱的话,可以简单计算一下,服务器10000多台,按一台40000计,就是4亿;
加上带宽、网络设备、各种外设、软件费用,应该在10亿以内;
几千名技术人员的成本比服务器更高,也就是40亿以内就差不多了。
毛估估,只需要50亿就可以做一个“新淘宝”出来。
5总结
淘宝网,看似简单的一个网站,却蕴含了许许多多的计算机知识,以及庞大的技术架构,尤其是双十一购物节对整个网站的承受能力考验,这使得淘宝网拥有极为先进的处理技术和结局方案。
通过对于淘宝网淘宝网计算机技术的浅分析研究,不断地搜集资料,整合资料,了解到了自己之前从未了解过的知识,加深了对计算机技术相关的了解,学到了很多,对信息技术有了进一步的认识,对今后的学习有着积极影响。
但因网上可寻的资料十分有限,对软硬件系统成本分析不够到位,这在今后的学习和研究中要多加注意。
参考文献
[1]销售数据来源:
百度百科-双十一购物狂欢节
[2]DAU规模数据来源:
TrustData数据报告
[3]访问量数据来源
[4]《淘宝技术这十年》作者:
子柳出版社:
电子工业出版社
-14-