中国电信黑龙江web加速.docx
《中国电信黑龙江web加速.docx》由会员分享，可在线阅读，更多相关《中国电信黑龙江web加速.docx（22页珍藏版）》请在冰点文库上搜索。
中国电信黑龙江web加速
中国电信北方电信事业部黑龙江分公司
网络缓存系统方案建议书
目录
一．概述-3-
1.目前互联网访问存在的问题-3-
2.NetCache解决的问题-4-
二．用户需求-5-
1．当前网络结构-5-
2．缓存系统建设要求-6-
三．方案建议-7-
1．方案-7-
四．设备选型-9-
1．Cache的选型-9-
2.四层交换机选型-12-
一．概述
1.目前互联网访问存在的问题
近年来，Internet网络规模迅速扩大，网上用户爆炸性增加，Internet网络带宽及Web服务器处理能力的增长速度永远处于巨大的压力下，人们普遍反映Internet速度慢，希望提高网络访问速度的要求越来越强烈。
从近期国内一些著名网站的网上调查结果可以看出，用户对网络访问速度的不满意度很高。
可以说，网络访问速度已经成为用户选择ISP及ICP时要考虑的一项重要指标。
在特殊时期，对于焦点信息的访问更是成几何级数的增长。
近来，美国911事件、伊拉克战事和非典事件更是造成网络使用、访问的爆炸性增长，给Web服务器和网络都带来了很大的压力。
从整体上看，用户得到的响应慢是由以下几个因素造成的：
1.网站服务器的延时
网站服务器造成的延时在往返时间中占主要比例。
当某个服务器收到多个并发HTTP请求时，会产生排队延时。
由于响应一个HTTP请求，往往需要多次访问本地硬盘，所以即使是一台负载并不大的服务器，也可能产生几十或几百微秒的延时。
2.由路由器、网关、代理服务器和防火墙引入的延时
通常在客户端和服务器之间的路径上会存在多个网络设备，如路由器、网关、代理和防火墙等。
它们对经过的IP包都要做存储/转发的操作，于是会引入排队延时和处理延时。
在网络拥塞时，这些设备甚至会丢包，此时会寄希望于客户端和服务器通过端到端的协议来恢复通信。
3.不同通信链路上的数据传输速度
用户需求分析在广域网中，从一个网络设备到另一个网络设备间的数据传输速度是决定往返时间的一个重要因素。
但基本带宽的作用并不是像人们想象的那么重要，一项测试表明，当网站采用T3速率接入Internet时，也仅有2％的网页或对象能以64kbps的速度提供给客户端，这显然表明，带宽在网络性能上不是最关键的因素。
4.互联网上新业务的发展带来的挑战
随着宽带平台的建设完成与互联网的发展，互联网上的新业务层出不穷，其中开展最好的主要有互动游戏与视频服务。
各种互动游戏用户量大，成为目前互联网的主要业务之一，但作为互动游戏往往在网络上只传输位置坐标等简单信息，大部分地图、人物、怪物的信息存在本地；而构建的服务器基本采用分布式构架，一般运营良好的网游在各个大中城市都具备本地服务器。
综上所述，网络游戏的运营不会对互联网络产生太大的影响。
视频服务也作为目前互联网的主要业务，基于流媒体协议，具有时序性、连续性、低延时性的特点，同时在网络上传输的数据量较大，互联网络的延时往往会影响用户的访问质量。
2.NetCache解决的问题
Internet正以迅猛的速度发展，在世界500强公司中，80%以上的公司有自己的Web地址，一半以上的公司已实现了内部网，并在公用WAN网上存放图文并茂的数据。
在未来的三年里，Web用户数量将飞速增长。
Web访问需求的不可控制的增长将为满足带宽需求付出巨大的努力。
Web的流量是惊人的，但其中绝大部分是冗余的，即一个位置上的多个用户要查询大量相同的内容。
这意味着在WAN上日复一日地传输大量相同的内容（或相同的查询）消除大量的重复传输，就可以大大降低通信成本，从而使企业和服务提供者节约大量的费用。
Web缓存实现了Web内容的本地存储，为用户的查询提供了快捷的服务，而不用在WAN网上重复传递查询命令和查询结果。
WebCache技术正是基于这样一个事实：
用户访问Internet的数据中，有很大一部分是重复的，包括访问同样的页面、下载相同的软件或观看的流媒体影片。
通过使用WebCache技术，可以在缓存用户访问过的对象，这样对相同对象的访问就无需再占用服务器处理能力或者主干的出口带宽。
同时，由于用户对服务器的请求可以由Cache立即响应，因此可以极大的提高用户访问的响应速度，减少互联网延时多用户的影响。
二．用户需求
中国电信北方事业部宽带IP网是中国电信网络在北方的扩展，它担负着开展富有市场竞争力的IP业务，快速占领北方市场，增加收入来源的重要任务，是中国电信在拆分组合后电信业务在北方的强力渗透。
在北方九省宽带IP网运营过程中，发现用户访问网站页面速度比较慢。
这主要是由于宽带IP网的出口在南方，北方九省用户访问网站页面时需要绕道南方出口，用户的数据包绕经多台网络设备，每台设备都需要对IP包进行排队转发，造成了较大的网络延迟。
为了减少IP包在网络中的延迟时间，提高用户打开网页的速度，北方九省希望通过网络缓存系统解决目前问题。
1．当前网络结构
目前北方九省下辖黑龙江省内宽带IP网网络结构如下图所示
黑龙江省内的宽带IP网络采用双核心结构，通过在哈尔滨设置核心节点来承载全省的数据流量，并通过各自连接的一台骨干网路由器接入全网。
省核心节点之间采用双链路连接，两核心之间互为冗余。
省内各地市通过路由器分别连接两个核心节点，流量在两条链路上实现负载分担和冗余。
省核心设备采用Juniper公司的M160路由器与Cisco公司的12410，骨干网路由器是Cisco公司的7507路由器。
M160与12410连接骨干路由器Cisco7507以及连接地市路由器都采用了155M链路。
2．缓存系统建设要求
缓存系统的建设既适应当前应用考虑，又面向未来信息化发展需求。
其建设原则主要有以下几点：
实用性和先进性
采用了先进成熟的技术满足当前的业务需求，采用先进的网络技术以适应更高的数据、多媒体信息的传输需要，整个系统在一段时期内能保持技术的先进，并具有良好的发展潜力，以适应未来业务的发展和技术升级的需要。
灵活性与可扩展性
网络系统是一个不断发展的系统，所以必须具有良好的扩展性。
随着业务量的发展，通过对cache服务器的方便扩容、分散部署。
扩大网络容量和提高网络各层次节点的功能。
具备支持多种通信媒体、多种物理接口的能力，提供技术升级、设备更新的灵活性。
来适应数据业务的迅速发展。
可管理性
网络设备采用智能化、可管理的设备，能够实现监控、监测整个网络的运行状况，合理分配网络资源、动态配置网络负载，可以迅速确定网络故障等。
本期工程主要是对省内用户进行Web加速，需要在宽带IP网的省出口处布置网络缓存设备（Cache），用来存储网站的页面。
Cache的部署应该采用透明代理的方式，即Cache对用户是透明的，避免用户端改动配置。
考虑到宽带用户增长很快，为了满足今后的增长及Cache资源的最大化利用，布置Cache时需要考虑到流量在多台Cache间的负载均衡及灵活方便的增加Cache数量。
三．方案建议
在当前的网络结构中，推荐采用四层交换设备布置网络缓存系统。
方式是在省宽带IP网的出口处外挂四层交换机。
通过M160路由器、12410和四层交换机配合完成用户HTTP数据的重定向，四层交换机实现对Cache的负载均衡和健康检测。
1．方案
网络结构：
如上图所示，方案1中的核心路由器M160与12410各采用一条光纤链路连接到四层交换机，四层交换机再通过以太网线（100M或1000M）下连Cache。
四层交换机可以布置在核心机房，同时连接到M160与12410上。
在M160与12410上配置路由重定向策略，将端口号是80的数据包（HTTP）转发到四层交换机上。
四层交换机对Cache进行健康检测，并将M160转发来的数据包在多台Cache上进行负载均衡。
具体流程（以M160为例）是：
1．地市用户的HTTP请求到达M160，M160在连接地市用户的端口上作基于TCP80端口的策略路由，重定向用户请求到四层交换机，四层交换机根据数据包的目的地址，把HTTP请求重定向到某台Cache中。
Cache内若存储了用户请求的相关内容，Cache直接响应用户请求，Cache通过四层交换机与M160的互连端口将回应数据包转发到M160，由M160将数据转发到用户端。
2．若Cache没有保存用户请求的内容，Cache会代替用户向Web服务器发起HTTP请求，数据包通过四层交换机转发到M160，再由M160发送到Web服务器上获取相关数据，并返回到Cache保留备份。
同时Cache利用保存的内容响应用户的请求。
如果某台Cache发生了宕机，会被四层交换机的健康检测及时发现。
宕机的Cache不会再被分发数据包，四层交换机会将后继的数据包转发到其它可用的Cache上去。
如果所有的Cache都宕机了，四层交换机会把M160转发来的用户请求再转发回M160，M160再把请求发送到Web服务器，由Web服务器直接响应用户请求。
这样就避免的由于Cache不可用造成的用户Web服务中断。
另外，四层交换机还可以根据Cache的性能，在Cache间按比例的分布流量，实现每台Cache资源的最大化利用。
对于今后的扩容，管理员可以方便的将新Cache挂接到四层交换机下，稍做配置即可实现容量的扩容。
M160有一定的健康检测功能，可以对四层交换机进行健康检测。
若连接四层交换机的链路断掉或交换机宕机，都可以被M160检测，并取消向四层交换机进行路由重定向，数据包被直接转发到Web服务器，从而保证了用户正常的上网。
M160的路由重定向可以根据第四层端口进行转发，并能限定数据包源IP地址、目的IP地址和进出路由器方向。
根据这些特性，我们在M160上只对地市节点的用户进入M160的数据包进行路由重定向（如根据源IP地址），来自省外、Cache、其它地点和流出M160的数据包M160不进行路由重定向，因此，不会形成数据环路。
四．设备选型
1．Cache的选型
NetCache主要作用是进行WebCache（流媒体部分可选），解决网络出口的瓶颈问题，提高用户网络访问的速度。
Netappliance公司的NetCache一直是Cache中的旗舰产品，具有优异的性能：
Ø支持全双工高速以太网接口，如全双工100BaseT，1000BaseT。
Ø支持多种协议，NetCache全系列产品具有相同的软件，所以使用和管理方式一样，只是性能不同。
NetCache的软件目前是NetCache5.3，完整支持HTTP1.0/1.1，支持透明、非透明的FTP、支持透明NNTP，支持ICP，支持SSL加密、完全支持WCCPV1和V2、支持WPAD,NetCache即使在透明部署时也可以进行按PROXY方式使用。
Ø采用多线程的处理方式，能同时高效响应多个请求。
NetApp的NetCache产品采用Appliance的体系结构，专注于Cache功能，首先，去除不必要的任务，例如，图形处理，事务处理等。
其次，所有软件由NetApp完全控制，TCP/IP,磁盘管理，内存管理和进程/线程的调度，可以高效率地并发响应用户请求，且每个请求需要的线程切换最少，使其性能达到软件方式或半软件不可比拟的程度。
Ø可根据URL及相关标头对对象进行索引，可实现对网页某一部分的存储和检索。
NetCache针对URL对象进行处理，每个URL都是一个对象，NetCache对它们分别处理，在内存中保存对所有对象的索引，索引利用MD5的算法，针对URL/URI进行，指向磁盘特定位置。
所以NetCache可以处理网页中所有可缓存的内容，并迅速判定是否命中，如果命中则可迅速将其返回给用户。
Ø采用多种方式与Web服务器的同步更新：
NetCache采用多种方式进行内容更新，首先，如果对象的HTTP头指明了CACHEAGE，EXPIREDATE等，NetCache据此判定内容是否需要更新，如果需要更新，Cache利用HTTPIFMODIFIED命令确认内容是否真正更新了，是则重新请求，否则不需要。
其次，对于未指明对象控制信息的对象，可以设置为不缓存，或者利用NetCache的自适应的生存时间算法，TTL。
最后，可以设置Cache的强制更新，对象在Cache中的生存时间超过多少时间就强制重新请求，确保内容不会陈旧。
Ø支持IP过滤，基于内容的路由，站点或内容过滤等。
NetCache内置强大的ACL引擎，支持对CLIENTIP，SERVERIP的过滤，支持利用SMARTFILTER、WEBSENSE等第三方网址列表进行过滤。
NetCache具有集成的CRM（CONTENTROUTINGMODULE），在NetCache之间进行GSLB，基于内容进行路由。
Ø可实现对静态/动态页面的缓存NetCache采用多种方式进行内容更新，首先，如果对象的HTTP头指明了CACHEAGE，EXPIREDATE等，NetCache据此判定内容是否需要更新，如果需要更新，Cache利用HTTPIFMODIFIED命令确认内容是否真正更新了，是则重新请求，否则不需要。
其次，对于未指明对象控制信息的对象，可以设置为不缓存，或者利用NetCache的自适应的生存时间算法，TTL。
最后，可以设置Cache的强制更新，对象在Cache中的生存时间超过多少时间就强制重新请求，确保内容不会陈旧。
Ø采用先进的缓存交换技术，缓存命中率达到90%以上；
Ø提供统计报告。
ContentReporter提供对全网的内容和运行状况的详细报告，收集数据，同时生成计费所需的数据，NetCache可以对流经的数据进行记录，生成Log文件。
Log文件还可以送到ContentReport以支持实时统计。
利用ContentReporter软件，可以实时生成各种报表和直接用于计费的数据，提供丰富的内容报告和统计，具有强大的分析功能。
提供全网基于域的分析统计。
Ø提供基于Web的管理界面，支持多种配置功能带宽管理器；
Ø与地理负载分担设备互相协作，可实现CDN功能。
为能够缩短最终用户使用相关网络资源时的反应时间，电信IDC应根据IDC用户的要求，提供高速缓存服务，提高网站静态页面的被访问速度，使网页的相关内容更贴近最终访问用户，从而提高网站的整体性能，不仅使最终访问用户享受高速反应的服务，也使IDC用户减少对带宽的需求和服务器处理能力的需求。
SSL加速应减轻Web服务器加密／解密的负担，恢复交易速度，节省设备投资并为客户提供最佳性能。
Ø支持流媒体的缓存，可设置特定的时间对其进行“推”操作。
NetCache支持各种流媒体直播（SPLITTING）和点播（VOD），可以设置各种策略进行“推”，策略包括：
时间、频率、重发次数、错误报告途径、QORUM（完成指标）、内容控制信息等。
NetCache可以支持1G的流媒体吞吐量，对服务器和用户完全透明，认证和记帐信息回传给服务器，同时记录在Cache，用户无需任何设置，服务器也无需任何设置。
Ø支持所有主要流媒体协议，NetCache支持MMS、QUICKTIME、REALMEDIA、NetApp是微软的合作伙伴，是REAL的最高级别合作伙伴。
NetCache在协议层对流媒体进行支持，支持智能流，提高流媒体在网络边缘的播放质量。
NetCache在流媒体方面具有无与伦比的性能。
NetCache系列产品包含3个产品系列NetCacheC1200、NetCacheC2100和NetCacheC6200。
它们已经过验证的性能和可靠性能够保证对任务关键型数据的访问。
1．NetCacheC1100系列：
C1100用于远程办公室、分支机构、服务提供商及POP。
它结合了诱人的价格和空间敏感型设计两大特点。
C1200系列在HTTP环境下可提供超过30Mb的吞吐量，在流媒体应用上可提供超过500Mb的吞吐量。
2．NetCacheC2100系列：
中间档次的C2100系列提供了最佳的价格/性能比。
C2100在HTTP环境下可提供超过每秒90Mb的运算速度，在流媒体应用上可提供超过每秒1000Mb的运算速度。
对与关键重要数据的可靠度及有效性而言，将在如RAID、后备硬件及热交换驱动（Hot-Swap）等特性的帮助下得到保证。
3．NetCacheC6200系列
这款产品将为数据中心及高带宽设施提供最大限度的执行效益及可靠度。
C6200在HTTP环境下可以提供超过每秒240Mb的吞吐量，在流媒体的应用上可提供超过每秒1500Mb的吞吐量。
对于最大2TB的内容存储能力，也能在RAID技术的支援下达到保护数据安全及可靠度的目的。
2.四层交换机选型
网捷网络公司（FoundryNetworks,Inc.）的ServerIron系列互联网Web交换机提供高性能的第2至7层交换，使网络管理员能够控制和管理当今发展迅速的网络交易、网络应用和电子商务通信量。
InternetIronWare–网捷网络独特的互联网流量管理软件–驱动ServerIronWeb交换机，并根据驻留在传统的第2层和第3层信息包头以外的层次中的信息，将请求分配给适当的服务器和应用程序。
ServerIron可缓和不断增长的互联网通信过载、减小服务器管理负担并可使整个网络设备充分发挥其潜在能力。
建立在网捷网络的IronCoreASIC设计和基于交换的平台之上的ServerIron可根据第2层至第7层的定义对互联网流量进行交换。
ServerIron为互联网流量管理操作提供行业领先的性能，包括本地和全球服务器负载均衡、防火墙负载均衡、透明高速缓存交换、应用程序重定向、信息包过滤和划分优先级，并支持智能内容交换，如基于cookie、URL和SSL会话ID的重定向和负载均衡。
此外，ServerIron还可为实现高可用性服务、灾难恢复、位置和服务器透明、骨干网成本控制和形成一致的用户经验提供良好基础。
ServerIron的主要优点和特性
Ø服务器和应用程序可用性
通过提供交换机、服务器、链接和会话级别的冗余，ServerIron可确保服务的可用性。
当某个服务器或应用程序出现故障时，ServerIron能够检测到故障，并在不到一秒的时间内进行故障切换，切换到提供类似服务的服务器组中的下一台服务器。
ServerIron可以在用户发现之前就检测到应用程序出现的错误状况，例如“404–目标未找到”，并将用户请求透明地重定向到其它服务器，无需人工干预。
为实现百分之百可用性，ServerIron中采用了活跃/备用或活跃/活跃冗余功能，这样可避免会话丢失。
在激活状态下，这个功能允许网络管理员建立主备负载均衡交换机，支持相同的设置参数。
在活跃/备用状态下，一台设备操作，而另一台设备处于待用状态。
在活跃/活跃状态下，两台设备对称操作。
在任何一种情况之下，每个交换机都对另一台交换机的健康状况进行不间断的监控。
在某一台设备出现故障的情况下，另一台交换机将在不丢失会话或连接的情况下取代另一台的操作。
ServerIron还支持链路级的冗余，通过将会话从出现故障的链路向冗余链路自动切换，确保服务器的连通性。
ServerIron的全面的服务健康检查功能可对第2层、第3层、第4层和第7层的连通性和服务进行监控，并确定服务器对用户请求的响应能力。
这样，服务故障可得到快速检测，避免服务的中断。
Ø最大的扩充能力带来最大的灵活性
ServerIron实现了堆叠和机架式平台上的高端口密度，支持海量服务器组和网络设备如防火墙和高速缓存等。
ServerIron上运行的InternetIronWare能使网络管理员创建以单个IP地址-也就是虚拟IP（VIP）地址所代表的服务器组，从而简化网络的设计。
ServerIron表现为一个带VIP地址的虚拟服务器，对用户的请求进行控制、监视，并将用户的请求引导到服务器组中最合适的真实服务器。
通过对众多的智能负载均衡方法的支持，网络管理员能够以透明方式很轻易地扩充服务器的能力，不论服务器的平台如何。
在不使用价格昂贵的硬件插件或服务器端代理软件的情况下，ServerIron能够给客户带来如此多的好处。
ISP和企业可以采用ServerIron的GSLB功能，通过将网络服务请求重定向到位于世界各地的众多数据中心去，从而透明地在世界范围内扩展服务器的能力，并根据全球的比例对互联网的能力进行升级。
为提高安全性和性能，ServerIron的FWLB可克服防火墙瓶颈、扩展防火墙的规模，其方法是对最多32个防火墙进行分组平衡，每个组中最多可包括8个防火墙，每个组都分配用于处理特定的应用通信类型。
通过支持同步、非同步、网络地址转换（NAT）、第2层和第3层防火墙的负载均衡，网络管理员能够以最灵活和最可靠的方式布置防火墙。
ServerIron支持活跃/备用以及活跃/活跃FWLB设置。
ServerIron的FWLB与所有建立在包括RIP、IGRP、OSPF和BGP4协议在内的静态或动态路由协议之上的环境都能够兼容。
ServerIron能够帮助广泛建立互联网高速缓存，用于改善网络服务响应时间和用户体验。
网络管理员现在能够采用多个高速缓冲存储器来增加冗余，因为ServerIron可支持在每个设备中建立多达四个高速缓冲服务器组，提高高速缓冲的可靠性。
ServerIron在多个高速缓冲服务器之间分配负荷，增强扩展性。
如果所有高速缓冲存储器都出现故障，ServerIron可将流量直接送往源服务器。
Ø方便的设置和管理
使用网捷网络的命令行界面（CLI）或基于Web浏览器的内置界面，ServerIron的配置和管理非常简单。
CLI使用大家所熟知的类似Cisco的命令，这样，网络管理人员可以非常容易地配置所有Foundry产品。
另外，ServerIron还支持简单网络管理协议（SNMP），从而保证了可以使用在主流服务器平台，如SunSolaris、HP-UX和WindowsNT上常见的应用如HPOpenView来完成设备的管理。
IronViewNMS应用可用于对按照固定周期进行查询的SLB和TCS数据进行监视和制作图表，格式包括棒图、线图和饼图，这样，网络管理员可以轻松地搜集和显示发往服务器组的网络流量的详细信息。
同时，网络管理员还可以测量服务器和客户机之间的流量，以及那些应用在主要占用网络资源。
全面的记帐和统计功能使网络管理员能够很容易地收集和显示去往服务器组的网络流量的详细信息。
网络管理员还能够检测服务器和用户之间的通信量，以及哪种应用在网络流量中占大多数。
此外，ServerIron还能跟踪每个服务器的活跃和开放会话的数量。
这些统计数据还可用来在支持多种应用程序的服务器上记录流量负载。
ServerIron网络性能
由于具有百分之百的线速吞吐量，ServerIron可提供无与伦比的第4层到第7层交换性能。
所有的ServerIron平台都采用一种独特的分布式交换结构和强大的处理器，提供每秒超过600，000次连接的负载均衡能力，且无会话丢失。
同样，ServerIron最多可支持16，000，000个并发会话。
这样可确保互联网通信负荷高峰期时的网站可用性。
主要特点：
Ø异常优良的性能和能力
∙并发会话能力业界领先–ServerIron能够有效地处理超过16，000，000个并发连接，当网站经历不断增长的通信需求时，可有效适应更大的用户通信量。
∙SwitchBack™–也称为直接服务器返回（DirectServerReturn）,SwitchBack利用网络通信流固有的不对称特性。
用户至服务器的流量流过负载均衡设备，但返回的（服务器到用户）流量（通常占用更多的带宽，因为其中包括用户要求提供的信息）在回程上则直接交换
升级会员 