最新移动DNS系统扩容改造项目技术建议书.docx

1、最新移动DNS系统扩容改造项目技术建议书一、DNS系统的现状以及发展方向介绍1.DNS业务发展介绍随着移动数据业务的不断推广以及3G移动互联网的推出，移动数据应用增长迅猛，XX移动WAP用户普及率已经达到50%左右，WAP上网用户的增加以及WAP应用的不断丰富带来了DNS请求量的大幅增长，DNS系统作为数据业务应用以及互联网应用的基础支撑平台，在数据业务和移动互联网业务应用的支撑方面有着非常重要的作用。建设一个稳定、安全、高效的DNS系统已成为XX移动业务发展的必然需要。今年以来，5.19以及7.30等多次断网事件都是因为DNS系统的安全稳定性不够高而导致了数据业务以及互联网应用瘫痪，这些事件

2、的发生给我们的DNS系统建设提出更高的要求。同时，传统的运营商角色定义为互联网的网路承载平台和网络硬件平台提供者，随着互联网的发展和宽带业务的广泛应用，越来越多的运营商意识到发展互联网上用户业务和用户流量经营的重要性。通过提供给最终用户更好的业务和服务，运营商可以在更多的层次上细化业务种类和吸引新的客户。业务上的需求也产生了对运营商的DNS系统提出了新的要求：1、DNS是互联网数据业务上的关键应用，它直接关系到用户的最终体验，因特网的大规模发展对现有DNS系统的安全性，可扩展性，稳定性等方面提出了更高的要求。2、DNS在IP网上的核心地位也决定了它在作为新的业务增值切入点的角色。DNS是所有I

3、P应用的核心，互联网上面几乎的所有应用都要使用DNS。对于绝大多数应用，用户首先会访问DNS，DNS是业务层面的第一“接触点”。DNS系统已经部署在网内，在DNS上发展新业务不需要修改网络结构。在DNS软件基础上为用户提供增值业务开销最小，具有性价比的优势。2、国内主流DNS建设使用情况分析(1).目前典型的DNS组网架构沿袭技术的发展，目前国内电信运营商除个别DNS压力较少的省份外，基本上采用四层交换机的架构组建DNS系统。每个节点利用四层交换机进行负载分担到各台DNS服务器。DNS服务器大部分采用商用DNS软件CNS（Vantio）服务器替代了免费的Bind服务器。 例如：XX电信DNS系

4、统的结构图如下:图1.29四川电信DNS节点结构XX电信DNS系统部署于成都新华枢纽楼，设备情况包括：北电Alteon2424四台、F5一台、SUN 490两台、SUN X4100两台、SUN E2900一台、SUN T2000两台、Dell 2950一台、HP DL360 4四台。DNS平台使用软件包括：bind、CNS（VANTIO）、ANS。授权服务器与缓存服务器实现分开设置。(2).四层交换机架构目前普遍出现的问题投资压力，由于四层交换机的会话数有限，无法进行硬件升级。因此当DNS流量上升到一定程度时，经常需要更换新的硬件，无法实现有效投资保护。性能瓶颈，根据中国电信的统计，在80%左

5、右的DNS节点瘫痪的重大故障中，均和四层交换机性能不足有一定得关系。免费的DNS软件稳定性、安全性、可管理性、业务增值应用扩展性以及分析性等均无法保障。由此造成了多次大面积的业务故障事故。已经不能适应目前运营商业务发展的需要。(3).DNS架构的发展方向Anycast及CNS（Vantio）商业软件 目前在国外的电信行业中，Anycast架构已经广泛应用于DNS系统。在很多域名的根节点及DNS递归节点中采用。在国内的中国电信集团的CN2网络DNS系统及部分省市已经采用。图：中国电信CN2 DNS体系架构 中国电信CN2的DNS系统由四个节点组成，每个节点由三台采用CNS的服务器组成。Anyca

6、st架构的优点利用ECMP等价路由，实现负载分担（目前的路由器一般最大支持16台服务器）节省投资，直接在核心路由器上实现，无需另外采购硬件扩容容易，节点增加服务器时，只需要配置好相应的路由进程即可平滑进行扩容最新扩容调整后XX电信的DNS架构如下:图：XX电信DNS系统二、XX移动DNS系统现状分析1、XX移动DNS系统现状XX移动目前全省共有2个DNS服务器。两台服务器采用Bind软件，同时作为授权及递归服务器使用。随着移动3G网络的开通，各种基于无线数据网的宽带业务逐步增加，例如类型的个性化用户服务网站和多媒体邮件，导致网络上DNS的请求呈现指数型增长趋势。（见下图）图：DNS应用的增长趋

7、势图目前XX移动DNS系统存在的主要问题：域名解析服务器负载高；无法满足用户数请求数量递增的趋势Bind服务器不够稳定，处理能力有限（在CPU负荷60%时极限处理能力为6000QPS）,按照XX移动目前的用户增长速度预测，到2010年初，DNS系统Bind服务器容易受到DOS&DDOS攻击的影响现行DNS管理方式不便；安全性较低，容易遭受攻击难以对域名请求的内容进行统计和分析难以处理域名服务器中的垃圾数据；没有得到及时的DNS问题响应和处理支持。2、现有系统运行数据测算利用DNS管理分析手段对XX移动两套DNS系统在线统计，发现目前两节点的Qps增长速度较快。目前XX移动DNS节点的高峰Qps

8、已经接近6000。在2008年7月Bind免费DNS软件爆出重大Bug，在升级后，其处理能力有一定程度的下降。通过统计发现枢纽节点的处理能力已经接近其峰值，具体的数据如下：时间服务器CPU %QPS2009.7.02Dns144.39-49.443340.47-4631.722009.7.04Dns245.91-52.913520.23-4922.132009.7.22Dns137.43-41.093637.92-5052.752009.7.29Dns236.52-42.383889.80-6090.972009.8.25Dns138.12-43.923494.46-5859.792009.8

9、.26Dns239.42-43.563569.64-6514.392009.8.22Dns136.54-42.653481.18-6024.542009.8.23Dns236.32-41.643666.06-5777.74表一：近期枢纽节点数据采集图：2009年8月9日21点CNS实时数据考虑到目前免费的Bind软件在升级后，处理能力的下降，DNS节点目前已经接近极限处理峰值。同时免费的Bind软件安全性无法保障因素，需要近期尽快对整个XX移动DNS系统进行升级，以提高系统的处理能力、安全措施以及冗余能力从而保障数据业务的稳定高效以及良好发展。3、DNS系统处理能力设计需求分析根据中国移动XX

10、公司数据业务发展规划，到2012年，全省手机上网用户将发展到1554万户。 详见下表：表5 20092012年XX移动手机上网用户预测表年份/月20092010年2011年2012年全省万户万户万户万户目前，在高峰期全省用户QPS达到万15000左右，达到目前DNS系统总处理能力的55，要保证DNS系统稳定安全运行应保持业务量在系统最大处理能力的30%以内，按照以上预测结果以及规则，DNS业务需求表如下表所示：表2 20092012年XX电信DNS业务需求表年份/月20092012年8月底全省手机上网用户数8401554QPS1000019000三、XX移动DNS系统升级改造设计方案1、DNS

11、系统改造方案通过分析XX移动现网DNS结构和流量数据，北京融海公司建议的DNS改造方案如下：（1）、分离授权和缓存域名解析功能DNS的授权功能是对本地负责的域名实现解析功能，为全球用户提供服务；而缓存功能则是运营商为本网用户提供的DNS查询缓存功能，同一台DNS服务器充当两个职责会带来严重的安全问题。为了分离授权和缓存，我们建议：保留原DNS服务器为授权DNS使用。（2）、新建专业商用软件的缓存DNS节点，分配新的IP地址。a)在两个异地备份节点各部署一台Vantio服务器，两个节点互为冗余备份。当用户设置的第一域名服务器出现故障的情况下，用户的DNS请求会由操作系统自动切换到第二域名服务器。

12、b)负载分担：疆内部份用户使用A节点做为第一域名服务器，B节点作为备用域名服务器，另外一部分用户使用B节点做为第一域名服务器，A节点作为备用域名服务器。c)第一阶段，俩节点均可以采用常规的单机模式,根据业务增长趋势，可以灵活的变更为四层交换机架构或Anycast架构。 按照授权与递归分离的原则，XX移动新建DNS系统的架构如下所示：图：XX移动DNS系统架构（3）、该方案的主要优点如下： 在DNS改造过程中，保证原授权域名解析功能的正常运行。 新增缓存DNS节点的建设不影响现有系统的运行，整个升级改造过程可以实现服务无中断，保证升级过程中用户对DNS的正常使用。 在保证和提升了性能的前提下极大

13、的节省了硬件投资，并提供了将来通过硬件升级进一步提高系统性能的可行性。 未来可以方便的通过部署ANYCAST方式以及增加服务器进行系统扩容升级。无需对网络结构进行大的调整。2、DNS组网硬件和网络环境设计分析服务器的配置：新增2台服务器，建议使用基于X86的PC服务器平台建议的服务器配置如下：CPU内存硬盘操作系统Sun X4150Xeon(R) X5460（3.16GHz）*24x2GB PC2-5300 667 MHz ECC DDR22x 146GB 10K RPM 2.5 SAS drivesSolaris 10 X86注：采用Sun的服务器主要是考虑到Solaris 10的操作系统的

14、安全性相比Redhat AS5要高。用户可根据此推荐配置选择性能相当的PC服务器，可以安装Redhat AS5操作系统。Vantio在两个操作系统的处理能力基本相同。四层交换机按设计指标，不需要配置四层交换机四层交换机存在瓶颈问题，并且增加了故障点。目前Anycast技术已经成熟，未来可采用Anycast方式进行扩容，节省开支，避免四层瓶颈防火墙 - 可以单独配置防火墙设备或者使用前端路由设备的防火墙功能不建议对DNS流量进行包检测。DNS服务的端口53必须提供向用户服务防火墙不能阻挡针对DNS的攻击（缓存毒害攻击）通过防火墙设备可以实现对服务器本身的防护对访问IP地址的限制流量清洗设备（可选

15、）在数据中心可以配置流量检测和清洗设备当发生DDOS攻击时，需要管理员手工干预3、DNS系统设计性能指标至2009年6月为止，XX移动全省移动用户总数为1700万；手机上网用户数为800万；其中绝大部分为基于1-2G的WAP和CMNET用户。从今年开始，XX移动在全省范围内向用户提供基于TD-SCDMA的 3G移动业务，预计到2012年底，XX省的手机上网用户总数将达到为 1554万。在选定3G业务渗透率为15的前提下，使用3G移动上网的用户总数为230万。根据我们在国内现网的经验，在当前网络情况下，100万宽带用户对应的平均每秒查询数（即QPS）为10,000-15,000，峰值QPS为25

16、,000-30,000。3G在国内属于新业务，暂时没有国内相关的DNS统计数据，根据国外CDMA1X和GPRS 网络上的经验值，预计每100万3G用户产生的DNS峰值查询数为每秒10000次左右。同时，XX移动将努力发展大客户和集团专线上网业务，专线用户产生的DNS查询量较高，1万专线用户对应的峰值QPS为500010000左右。根据以上分析，建议本次DNS系统升级应考虑到2012年专线和移动3G用户数目增长带来的DNS流量增长。具体设计指标如下：1、预计到2012年6月底，XX移动全省DNS系统需要支持的峰值每秒查询数QPS = 30000； DNS系统改造的设计目标应该满足 全省DNS支持

17、的忙时QPS = 30,000 2、在单节点出现故障的情况下，DNS系统依然可以满足全省用户正常网络查询的需求。即 单节点可以支持最大QPS = 30,0003、为保证系统稳定运行，防范DDOS黑客攻击，系统设计时应考虑足够的富裕度。在全省DNS系统正常运行情况下，服务器CPU平均负载应保持在30%以下。 单台服务器的平均 CPU Load 30%北京融海公司推荐的Nominum公司的缓存域名服务器系统 Vantio 是业界性能最高的缓存域名服务器，完全可以满足XX移动的DNS系统设计指标。Nominum建议使用的硬件平台为基于X86架构的PC服务器。参考硬件平台：DELL R805，2x Q

18、uad Core AMD Opteron 2393SE，内存8GB (4x2GB), 800MHz, Dual Ranked，操作系统为Redhat Enterprise Linux v5.3。在上述硬件平台上运行Vantio v4.0 的现网参考指标如下： 在保证服务质量的前提下，单台服务器支持的最大QPS值约为40,000； XX移动全省部署两台服务器，DNS支持的最大QPS值为80,000； 单台服务器在系统正常情况下的平均CPU负载 30%。4、系统可管理性设计本次扩容选配的专业商用Nominum DNS软件所有产品系统支持统一的管理架构，包括以下类型的管理工具：SNMPSOAP/XM

19、L接口CC (Command Channel) 命令行交互式管理工具EAC(Engine Administration Console) - 基于Web的远程管理工具，可以方便的修改系统配置，管理域文件，同步主从服务器。Syslog和统计(statistics)功能融海咨询基于DNS应用的特点结合互联网用户访问行为分析等需求，开发出了一套完整的专业DNS系统管理分析系统软件，能够对DNS系统进行应用级的监控管理以及用户访问行为分析等功能。后期可根据需求进行选配。5、DNS系统可扩展功能设计传统的运营商角色定义为互联网的网路承载平台和网络硬件平台提供者，随着互联网的发展和宽带业务的广泛应用，越来

20、越多的运营商意识到发展互联网上用户业务和用户流量经营的重要性。通过提供给最终用户更好的业务和服务，运营商可以在更多的层次上细化业务种类和吸引新的客户。DNS是互联网上的关键应用，它直接关系到用户的最终体验，因特网的大规模发展对现有DNS系统的安全性，可扩展性，稳定性等方面提出了更高的要求。DNS在IP网上的核心地位也决定了它在作为新的业务增值切入点的角色。互联网流量汇聚就是最近在国际国内快速发展的一种新的业务。Nominum公司作为世界各地顶级运营商DNS架构的软件提供商，可以在第一时间了解到运营商的各种增值业务需求，并把握到互联网上DNS未来技术发展的动态。公司最新推出的Vantio业务承载

21、平台就是在IP域名技术基础之上，根据各大运营商的业务要求开发的的一个通用增值业务平台，Vantio为网络运营商提供了包括错误域名转发在内的多项增值业务模块，它的基本架构如下图一所示：图一：Vantio软件系统结构如上图所示，Nominum公司的Vantio服务器是在VANTIO缓存域名服务器技术基础上开发的可扩展DNS平台，在Vantio平台上用户可以按业务需求定制多种基于DNS的增值业务模块，包括NXR：错误域名转发模块MDR：非法和恶意域名转发模块UAR：用户接入控制模块SML：垃圾邮件控制模块6、本次DNS系统规划中 Anycast架构设计规划Anycast方式最初定义于RFC1546，

22、意为处于互联网中的一台主机向某一Anycast地址发送IP协议报文，互联网负责将其送往一个接收目的地址为Anycast地址的主机。这里Anycast地址定义为用于实现主机标记的IPv4或IPv6地址，可能有多个互联网主机接收目的地为该地址的IP报文。利用Anycast技术，提供同一类服务的所有服务器可配置同一个Anycast IP地址，路由系统自动将服务请求送至最近的服务器。图：Anycast技术原理Anycast 是目前当前应用较广的负载均衡技术。国外很多DNS系统都应用了Anycast技术，它具有以下优点：优点：全网负载均衡较好，用户按地域的就近访问，网络时延小；强大的冗余备份功能，域名解

23、析服务不依赖于少数几个节点的连通性，每个节点都具有冗余备份功能，节点越多冗余备份功能越强；能有效预防DDoS攻击；有利于IPv6网络的部署，节点升级对用户几乎没有影响。Anycast技术既可以在整个网络间使用，也可以在单节点内采用等价路由实现负载分担，通过前期测试，其负载基本维持在1：1的比例，负载差异最大在10%以内，能够满足一般节点的负载均衡要求。一般在省级的DNS系统中，为保证系统的可维护性，建议采用节点内Anycast架构，其原理如图所示：图：节点内Anycast示意图 Anycast架构与四层交换机架构优缺点对比四层交换机架构的优点：扩容简单负载均衡比例可设置四层交换机架构的缺点：系

24、统瓶颈，四层交换机瘫痪会导致整个节点瘫痪（根据统计，国内DNS系统节点故障的80%集中在四层交换机）硬件无法升级，需要重复投资（支持的会话数无法升级，每次扩容需要购买更强的四层交换机）Anycast架构的优点：扩容简单,设计灵活（既可设计广域的Anycast架构，也可设计节点内的Anycast架构）多台服务器自动形成冗余备份，不会造成DNS节点整理瘫痪无需购买硬件，现有的核心路由器即可支持Anycast架构的缺点：负载无法按照设置分配，其服务器分配流量均在1：1，要求服务器处理能力相当四、XX移动DNS系统升级改造项目实施内容及计划考虑到系统实施的复杂性及涉及的范围，融海咨询对本项目的具体实现

25、方式、进度安排等实施方案建议如下。1、项目组织结构我们建议的项目组织结构如图51所示。图51项目组织结构图用户和公司各派出高层领导担任本项目负责人，把握项目的方向、决定项目的重大事项、协调双方的关系。项目经理由公司和客户各派一人担任，负责项目计划、组织和分工、控制项目进度、考核项目人员业绩、协调项目人员间的关系。项目管理的具体工作主要由公司的项目经理负责，但客户方也应派出项目经理（项目负责人），参与项目管理。2、项目实施配合需求 在工程实施过程中，需要XX移动配合提供的环境保障方面的工作有：(1)、提供硬件服务器，提供网络环境。提供安装VANTIO软件的硬件服务器及网络安装环境（包括IP等），

26、以便顺利安装调试软件。(2)、提供新的系统分配IP，以便配合VANTIO设置支持范围。五、技术及售后服务内容1、标准技术支持内容融海咨询依托Nominum厂商的鼎力支持，依靠自身在DNS系统的建设、维护、管理等方面雄厚的技术力量储备，不仅提供管理系统的整体技术服务，同时可以提供强有力的整体的技术维护服务,确保XX电信DNS系统稳定安全运行。并在优化工程的实施过程中，提供指导意见。技术支持是指在AppManager所支持的平台上，帮助客户解决问题，包括操作指导、问题解决、实施指导、项目实施、培训和二次开发。服务获取方式包括：服务内容通知文档电话支持Online支持远程诊断(需客户同意)新版本升级

27、获取 Beta版 产品2、故障级别根据系统受影响的程度，将故障分为四个级别：L1：System Down系统宕机（硬件故障），不能工作。L2：Critical系统仍在工作，但性能严重下降。L3：Work-around系统可以工作，但不太正常。L4：Minor系统工作不受影响。3、响应时长服务内容电话服务email服务L1级故障服务7*24服务1小时内响应并到现场L2级故障服务7*24服务2小时内响应L3级故障服务5*8服务4-24小时内响应4-24小时内响应L4级故障服务5*8服务4-24小时内响应4-24小时内响应注：出现L1级故障时，为保证业务正常运行，融海公司为XX电信安装CNS备机（硬

28、件由XX电信提供，可以将先用Bind服务器临时安装CNS保证业务的正常运行）。 当出现L2级及以下故障时，融海公司将及时配合用户解决问题。4、高级服务出标准技术支持内容外高级服务包括：现场服务项目实施培训实施指导高级服务响应时长：服务内容高级服务知识库故障服务Online用户论坛通知文档电话支持Online支持L1级故障服务1小时内响应L2级故障服务1小时内响应L3级故障服务1小时内响应L4级故障服务1小时内响应远程诊断(需客户同意)联系人个数10人Hotfixes and Inline ReleasesService Packs新版本升级获取 Beta版 产品六、培训计划我们在项目整体规划以

29、及实施中，对用户相关项目技术人员提供全程免费的现场培训服务，同时重点在厂家技术人员进行项目实施时为用户提供全方位的产品现场培训以及产品技术答疑等服务，保证使用户相关技术管理人员熟练掌握产品技术及处理产品常见问题。在产品使用过程中，如遇产品升级，融海咨询技术人员协同厂家技术人员对用户进行免费的产品现场升级培训。培训方式：1、现场随工培训：厂家和融海咨询技术人员在系统安装调测的同步，对用户相关的技术维护负责人员进行现场培训指导，保证用户能够熟练掌握软件的安装、配置和初级故障分析。2、集中讲座培训：由用户提供场地。融海咨询邀请厂家资深技术经理将为用户做半天到一天的产品集中讲座培训，人数不限，主要就产

30、品的使用特性、配置管理、常见问题处理等用户关注的问题进行讲解，同时提供重点问题答疑服务。培训对象：操作配置DNS系统的技术人员、DNS系统相关人员以及对VANTIO产品感兴趣的人员在系统在试运行后，融海咨询提供一天的使用培训课程。培训内容：VANTIO安装VANTIO设置VANTIO实时状态读取日常维护附件1、Nominum公司DNS系统解决方案1、Nominum公司介绍Nominum公司1999年在美国加里佛里亚州硅谷成立，公司技术总裁保罗博士是Internet网DNS的系统设计者和Bind软件的开发者。公司成立初期受ISC（互联网协会组织）委托，编写了新一代Bind 9 域名解析软件，并为Bind 9提供开源代码和技术支持。Nominum公司同时还参与并制定了与DNS相关的所有IETF标准。由于互联网的高速发展，运营商需要性能更高，稳定性更高，安全性更高的域名解析系统来保障业务的正常运行，目前市场上所有商用DNS系统都是基于Bind 9二