流量透明化IPFIX流量分析解决方案技术白皮书Word文件下载.doc
《流量透明化IPFIX流量分析解决方案技术白皮书Word文件下载.doc》由会员分享，可在线阅读，更多相关《流量透明化IPFIX流量分析解决方案技术白皮书Word文件下载.doc（23页珍藏版）》请在冰点文库上搜索。
4 网络透明化解决方案组网模式及应用 18
4.1 网络透明化解决方案组网模式 18
4.2 网络透明化解决方案应用 19
5 结束语 21
1方案背景
1.1问题的提出
“无法被量化的将无法改进”。
管理和优化网络首先要进行测量。
随着IT、网络技术的迅猛发展和企业信息化程度的不断提高，各种网络应用越来越丰富，各种应用时时刻刻都在争夺有限的网络带宽，从而导致网络管理的难度不断增大。
因此，如何保证网络的可用性和关键业务的畅通运行，对用户业务发展将起到至关重要的作用。
随着网络的规模越来越大，IT服务的完善，网络管理者也会提出一下问题：
1.当前的上网流量占用多大带宽？
这些带宽主要谁在占用？
这些占用是允许的吗？
在WWW访问之外，是不是有大量的FTP等下载？
是允许的吗？
2.DMZ区的服务器有多少是内网用户在访问，有多少是外网用户在访问？
如果是内网用户访问多（比如DNS），是不是考虑将其迁移到服务器区？
外网用户的访问有时间规律吗？
3.外联的服务器是提供特定用户访问吗？
哪个访问流量最大？
最大流量占用的用户是合法的吗？
服务器是不是该扩容了？
有非法用户访问这些服务器吗？
4.这些关键的业务服务器的带宽够用吗？
是不是考虑一台服务器提供多个业务服务或者多台服务器提供一个业务服务？
除了生产业务外，这些服务器是不是还提供其它无关的业务，导致影响性能？
谁访问这些服务器更多一些？
这些服务器在哪个时间段最繁忙？
5.部门用户用于工作（访问业务服务器）的流量有多大？
用于上网的流量有多大？
谁更多地使用互联网？
是必要的吗？
谁占用的网络带宽最大？
这些占用是必要的吗？
哪个用户在非法扫描网络？
是否有用户提供非法的下载（WWW/FTP）服务？
1.2问题的归纳
这些问题都是流量分析问题。
归结起来，所有的流量问题大致包含：
1.这些宝贵的网络带宽谁在占用？
一定时间内，谁占用最多？
2.这些流量到底包含哪些内容？
是数据库通讯，还是ping，还是网页访问HTTP，还是FTP下载？
3.这些流量是生产业务产生的流量吗？
4.这些流量中是否包含病毒流量？
或者禁止使用的流量（比如ftp下载）？
如果把这些问题进一步分析，会发现，这其实涉及到两个问题：
1.流量的分布问题；
是指全网中，哪些点流量大，哪些点流量小？
2.流量的构成问题；
对于特定的点，流量的组成是什么？
由谁发起的？
目的地在哪里？
1.3问题的解决
要解决这些流量问题，不是一件容易的事情，常规的方法有几种：
1.3.1网管方式
网管方式通过启动SNMP，来获取流量信息。
但是，SNMP只能获取流量的字节数，无法获取字节的构成，更无法获取流量的发起方。
该方法可以解决流量的分布问题，无法解决流量的构成问题。
该方式主要用于设备的管理，而不适用于精细的流量分析。
1.3.2数据包监听方式
该方法是将关注的流量串联到或者镜像到分析仪器（包括软件分析，比如sniffer），通过分析仪器来获取流量的构成和细节。
该方法可以做到流量的精细化分析，做到2－7层的流量分析，但是，缺点也很明显，只有在部署分析仪器的地方进行流量分析，如果做到全网多节点流量监控，必须部署多个分析仪器，导致部署成本急剧上升。
该方式可以很好解决流量的构成问题，但几乎无法解决流量的分布问题。
该方式适用于对少量关键点的监控，常用于专业工程师的故障诊断，不适合大规模日常使用。
1.3.3基于流（Flow）技术的方式
该方式是让网络设备在转发数据流量的同时，生成特定的流量信息，然后将流量信息发送到特定的分析模块，进而实现对流量的分析。
该方式的优势是明显的，理想情况下，如果让网络中的每台网络设备均发出流量信息，那么就可以轻松解决流量的分布问题，同时解决流量的构成问题。
缺点是各厂商提供的流分析技术都是私有技术无法通用。
也正是基于此，国际化流量监控标准技术IPFIX（IPInformationflowExport）应运而生。
1.3.4解决方法的评估
网管方式无法进行流量构成分析，不再讨论。
对于数据包监听方式和流（Flow）技术的方式：
由于分析仪器的昂贵，监听方式不适用于大规模部署，而且分析到7层应用后，容易使用户隐私受到侵犯；
而流（Flow）技术的分析方式功能均衡而强大，对流量的分析只到业务字节，不涉及应用级，无隐私顾虑。
如果以监控20个物理端口为例进行投资估算，监听方式在几十万甚至上百万人民币数量级，基于流（Flow）技术的流量分析方式成本大大降低。
因此，流（Flow）技术方式更适合网络流量分析。
2IPFIX技术介绍
2.1IPFIX技术概述
基于流的技术被越来越广泛地用于刻画网络传输流，它在设置QoS策略、部署应用和进行容量规划上都有着巨大的价值。
但是，网络管理员却缺少一种输出传输流的标准格式。
IPFIX全称为IPFlowInformationExport，即IP数据流信息输出，它是由IETF公布的用于网络中的流信息测量的标准协议。
该协议主要在于：
l统一IP数据流的统计、输出标准，这使得网络管理员很容易地提取和查看存储在这些网络设备中的重要流量统计信息。
l输出格式具有较强的可扩展性，因此如果流量监控的要求发生改变，网络管理员也可通过修改相应配置来实现，不必升级网络设备软件或管理工具。
IPFIX定义的格式以CiscoNetflowVersion9数据输出格式作为基础，可使IP流量信息从一个输出器（Exporter）传送到收集器（Collector）。
因为IPFIX是一种针对数据流特征分析、基于模板的格式输出的协议，因此具有很强的可扩展性，对于不同的需求都可以定义不同的数据格式。
为了较完整的输出数据，IPFIX缺省使用网络设备的七个关键域来表示每股网络流量：
l源IP地址
l目的IP地址
lTCP/UDP源端口
lTCP/UDP目的端口
l三层协议类型
l服务类型（Type-of-service）字节
l输入逻辑接口
如果不同的IP报文中所有的七个关键域都匹配，那么这些IP报文都将被视为属于同一股流量。
通过记录网络中这些流量的特征，如流量持续时间、流量中报文平均长度等，我们可以了解到当前网络的应用情况，并根据这些信息对网络进行优化，安全检测，流量计费。
IPFIX记录除了缺省的记录流信息，可以基于模板的格式随意选择。
锐捷交换机IPFIX记录的流信息非常丰富，基本流输出如下信息（可随意调整选择）：
l流开始时间
l流结束时间
l流的字节数
l流的报文数
l源IP地址
l目的IP地址
l源端口号
l目的端口号
l入接口
l出接口
l协议类型
lIPTOS
lTCPFlags
l下一跳IP地址
l下一跳BGP地址
l源BGPASNumber
l目的BGPASNumber
l最小报文长度
l最大报文长度
l报文最小TTL
l报文最大TTL
锐捷交换机IPFIX流信息有如下特点：
l除了基本的流统计信息外，还记录TCPFlags、最小报文长度、最大报文长度、最小TTL、最大TTL，通过这些信息可以对网络攻击和网络安全进行分析。
l除了基本的流统计信息外，还记录下一跳IP地址、下一跳BGP地址、源BGPASNumber目的BGPASNumber、出接口，通过这些信息可以对网络故障和网络规划进行分析。
l流的标识（关键字）不只上述规定的7元素，还包括下一跳IP地址、下一跳BGP地址、源BGPASNumber目的BGPASNumber、出接口，当流的7元素没有改变时，而是网络拓扑改变时（比如下一跳地址改变），那么也会作为一个新的流，这些信息有助于分析网络环境的改变、或者网络拓扑抖动等问题。
2.2IPFIX技术价值
1.IPFIX统一了流量监控标准，通过使用单一的、一致的模型，简化了流输出架构。
随着IPFIX标准更广泛地为网络设备厂商采用，网络管理员不用再为支持多个流报告应用而操心，每个应用都有自己的流输出格式。
IPFIX让他们可以使用一个符合这项标准的流报告应用程序。
此外，IPFIX的可扩展性使得网络管理员不必在传输流监测或报告需求发生变化时修改或升级设备配置。
2.IPFIX标准关注网络升级时的流输出可扩展性。
随着MPLS、IPv6和多播路由等网络技术的日益普及，管理员也需要更好地了解它们对网络环境的影响，这种可扩展性就变得越来越重要。
为了确保这种可扩展性的轻松实现，IPFIX兼容设备将输出模板，这些模板详细说明那些为输出而配置的流“特征”。
流的采集和报告应用程序可以被用来读取这些模板，以了解哪些“特征”被输出，因此网络管理员不需要调整应用程序配置。
3.IPFIXRFC定义了不同的流输出应用，包括基于使用的统计、传输流分布、传输流工程、攻击/入侵检测和QoS监测。
例如，支持IPFIX的流报告应用程序通过读取服务类型字节流“特征”，可以显示每一个等级的QoS服务会消费多少网络传输流。
此外，流量报告应用还可以显示应用和用户如何根据服务类型策略分类。
支持IPFIX攻击/入侵检测的应用将能够提供基准协议（Baseline）和地址数据来确定网络异常现象。
4.IPFIX描述对于流量输出至关重要的众多规则，包括时间戳、时间同步、流终止、数据包分段和多播流行为。
例如，传送多播应用流的IPFIX兼容设备应当输出反映每一个进入设备接口的流记录。
此外，这类设备应当输出通过多播传送给同一台设备上所有输出接口每个数据包的流记录。
同使用多播输出行为一样，RFC中列出的其他规则使网络设备厂商可以更好地了解IPFIX标准的支持要求,以及它如何在已有的技术中实现集成。
3网络透明化解决方案
3.1解决方案组成
IPFIX是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP地址，协议类型，相同的源和目的协议端口号，以及相同ToS的报文，通常为5元组。
IPFIX会记录这个流的统计信息，包括：
时间戳，报文数，总的字节数。
网络透明化解决方案包括：
流量采样设备（Exporter）、流量采集设备（Collector）、数据分析处理设备（Analyser），三个设备之间的关系如下图所示：
图：
解决方案的组成
lExport设备对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出给Collector设备。
lCollector设备负责解析Export的数据报文，把统计数据收集到数据库中，可供Analyser进行解析。
lAnalyser设备从Collector中提取统计数据，进行后续处理，为各种业务提供依据,以图形界面的形式显示出来。
Exporter
提供IPFIX技术接口的网络设备（锐捷网络公司的路由器和交换机，交换机需要配置高性能的IPFIX流量分析模块），负责对设备各个端口进出的网络报文进行流分类统计，然后封装成IPFIX报文输出。
Collector
Collector设备可以采集一个或多个Exporter设备输出的数据，对数据进行过滤和聚合，并将数据存储在数据库中供分析处理。
Analyser
Analyser是一个网络流量的分析工具，对采集来的流量数据进行分析处理。
为便于网络管理人员的操作，采用基于Web形式访问，提供直观的、图形化的管理界面，所有数据输出都直接在Web页面中显示。
3.2Exporter设备功能
Exporter作为支持IPFIX流量分析技术的网络设备，首先需要打开网络设备的侦听端口，然后配置将IPFIX日志要发送到哪个IP的哪个端口（即Collerctor设备的监听端口）,也就是配置输出目的IP地址和目的端口。
同时也要配置输出IPFIX报文的源地址和输出模板相关参数
这样，设备就会把IPFIX日志以UDP包的形式发往Collerctor设备，而Collerctor设备NTC则可从侦听端口源源不断的接收IPFIX日志。
3.3Collector设备功能
IPFIX日志被Collector设备采集到之后，将会做聚合处理；
流聚合模式，就是通过其定义的特定关键字段，对主模式的流进行重新的聚合产生新的流。
系统为这些聚合模式保留一定的缓存，类似于主缓存，这里称作流聚合缓存。
当一个流记录从主缓存出来后，它包含的流信息将用于对每个使能的流聚合缓存中相应的流聚合记录进行更新。
这样可减少最终存入数据库的的数据量，并提高了分析的效率。
同时，Collector设备也会对存入数据库的数据作进一步的统计处理，以便快速产生各类分析报表。
例如由于主模式流记录可能很多，所以锐捷网络另外提供了一种快速查看的模式，即top-talkers。
这是一种将流记录按一定规则排序后，只显示排序前若干位的记录的模式，便于用户在大量的数据中抓住重点，提供快速的分析手段。
3.4Analyzer设备功能
Analyzer设备对Collector设备生成的所有数据进行分析，对数据进行二次聚合、统计分析，获取网络的深入可见性，即关于每个链路和基于可配置IP的部门/分部的大型主机、应用程序、DSCP、TCP标志和AS信息。
基于IP地址的细粒度应用程序分类和识别。
分析的结果以非常直观的图表、表格等形式展示给用户，通过这些分析结果，用户可以监控网络使用状况、应用使用状况、用户网络访问行为，通过深入分析特定的应用程序、用户、端口或通信网络，用户可准确识别峰值和爆发的资源，从而主动监控，做出明智的决定。
3.5Analyzer设备报表
Analyzer预置了一组丰富的带宽报表，提供全面的带宽使用统计数据，帮助用户查看造成网络瓶颈的特定主机、应用或对话明细。
除快速识别堵塞的链路以外，还可以查看不同时间段的带宽使用趋势，有助于用户在带宽规划和加强安全策略方面做出重要决定，从而有效利用带宽。
流量使用报表
查看一个接口的当前、平均和峰值流量使用情况。
了解某个接口使用多少有效带宽。
历史报表
查看带宽使用每日、每周、每月的流量报表。
查看基于主机、应用和时间的使用趋势。
流量分析
查看不同时间段的应用、主机、对话排行，并获取详细信息。
清楚呈现谁使用最多的带宽，做什么。
自定义报表
查看特定主机、应用或对话的带宽使用情况。
利用该报表，用户可以关联信息，查看谁在什么时候使用带宽、用于什么应用、多长时间。
Subnet和基于IP范围的报表
查看通过特定subnet或IP范围的流量报表。
每个网络或subnet的带宽使用，确定通过用户组的高峰时间和典型使用趋势。
接口报表
查看不同时间段每个接口的带宽使用汇总。
获取高峰时间接口使用统计数据，便于解决网络瓶颈。
可解析的主机地址
所有流量报表，包括可解析的资源和目标IP地址，即时查看流入或流出网站或主机的带宽统计数据。
变量显示
查看流量图表，包括流量（Kb）,流量速率（bps），或链路利用百分比。
报表输出
输出并保存PDF文件的图表和报表
3.6业务功能展示
3.6.1网络用户分区管理
设备分组：
能够按区域区分流量，实现分区管理；
IP分组：
将流量源IP进行分组，可按组织架构进行流量区分，以掌握各部门的流量情况。
IP分组管理
3.6.2应用流量分析
此类报表显示了每个应用的带宽使用情况，以便了解哪些应用占用最大带宽。
还可以深入分析使用这些应用的源和目标。
只需简单点击，这些详细信息即可呈现谁在使用带宽以及为什么使用。
然后就可以决定是否需要增加可用带宽或加强安全策略。
应用带宽分布表
通过对流量的识别，统计网内流量的占比，知道各种业务流量的大小、变化趋势，以规划和优化网络。
能够实现对一个具体IP应用的深入分析，以便管理员了解IP流量异常时的流量分配，作出判断，给出相应的安全策略。
业务应用分析
具体IP应用的深入分析
3.6.3流量目标地址统计
通过流量流向的TOPN统计，能够识别受欢迎的地址。
同时能够识别这些地址的协议内容。
目的流入排行榜报表
具体一个目的IP的流入排行榜
3.6.4带宽使用实时统计
此类报表用来查看每个启用IPFIX的接口当前、平均和最高的带宽使用情况。
利用这些带宽使用的统计数据，就可以立刻了解某个接口相关的主机、应用和会话占用了多少带宽。
带宽使用实时统计
基于接口速度、接口利用率、IP组速度、IP组利用率进行排行
基于接口的报表统计
3.6.5网内流量趋势
一天、一周、一月和一年内的带宽使用趋势，并决定是否需要升级带宽。
从网络总容量、速度、使用率、数据包四个维度去统计和分析趋势；
根据几个指标的饱和度，可以考虑是否需要对网络进行扩容；
同时预测负载峰值时间，采取有效措施保证网络不会过载。
内网流量趋势表
3.6.6高效便捷的流量管理
提供基于流量阀值的报警机制，用户可灵活的定制告警条件，预防网络流量异常；
提供基于WEB的访问方式，管理员可以“随时、随地”的监控自己的网络。
流量管理配置报警表
4网络透明化解决方案组网模式及应用
4.1网络透明化解决方案组网模式
IPFIX在网络各层中的应用
利用IPFIX日志，网络透明化解决方案提供了一种网络监测、分析的方式，直接从支持IPFIX功能的路由器和交换机中收集流量信息，可以灵活启动不同层面（接入层、汇聚层、核心层）的网络设备进行IPFIX流量日志收集，并将收集的内容以IPFIX格式的日志输出给Collerctor设备进行分析。
用户使用Analyser的分析功能，可以做网络使用状况监控、用户行为追踪、异常流量检测等，并且基于功能丰富的报表，用户可以做网络规划方面的决策。
4.2网络透明化解决方案应用
IPFIX技术定义了一种路由器/交换机向管理系统输出流量数据的方法，通过采集和分析流量数据，并将流量数据与管理控制台中的其他网络和应用性能指标建立关系，对网络运行状态进行管理。
IPFIX技术的IP网络流量数据报文中包含许多有价值的流量统计数据，这些流信息充分揭示了有关网络使用的问题
l流量的分布问题；
l流量的构成问题；
利用网络透明化网流分析系统对这些数据进行统计分析，就能从中提取出网络流量特征，从而为网络管理员提供一张丰富而详尽的网络利用视图。
网络优化
网络透明化解决方案，可以使网络管理员及时掌握网络负载状况，网内应用资源使用情况，对核心网络的重点链路进行统计，各类TOP应用百分比，使用各类应用的网内用户、服务器的流量趋势及统计值，迅速发现网络当前的使用状况和不同链路的使用率变化趋势，尽早发现网络结构的不合理，或是网络性能瓶颈，尽快作出网络优化方面的决断，最终实现网络的优化使用，为用户提供高品质的网络服务，并且避免了网络带宽和服务器瓶颈问题。
网络规划参考
利用IPFIX流日志以及网络透明化长期监控网络带宽而形成的各类趋势报表，如基于设备接口的长期流量入出趋势，长期流量入出趋势分析，各类应用百分比，有助于网络管理员跟踪和预测网络链路流量的增长，从而能有效的规划网络升级（例如，增加路由服务、端口或使用更高带宽的接口）。
网络流量异常监测
管理者都希望在网络性能突然下降的时候找到问题所在，并迅速解决问题。
利用网络透明化解决方案提供的某段时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。
根据最终分析结果，管理者可快速的解决掉网络异常问题，保证网络正常的运行！
广域网流量监测
对于一个企业来说，WAN带宽通常有限，如果WAN链路流量增大，通常企业的做法就是进行投资以升级WAN链路，但是如果企业能掌握WAN流量的特征，制定相应的策略（比如QoS和针对源或目的IP地址作流限制），就能使WAN带宽得到最合理最充分的使用，避免进行不必要的升级投资。
网络透明化解决方案所提供的分析结果能够使网络管理员洞察WAN链路的流量特征、承载的应用、用户使用状况，从而针对是否应投资升级带宽快速的作出快速响应！
5结束语
要进行网络整体流量分析，即实现流量的分布分析和构成分析，则基于流（Flow）技术是当前的最优选择，可以针对针对超大、大、中、小型不同规模的网络，实现全网流量的精细化监控：
流量分布情况和流量构成情况。
而IPFIX作为目前标准化的一种网络流量监控标准，统一了流量监控标准，通过使用单一的、一致的模型，简化了流输出架构，它为高速网络用户带来价值，目前此标准逐渐被多个厂家的网络设备所支持。
目前锐捷网络在已经提供了IPFIX功能，拥有完善的网络透明化解决方案，满足网络用户在网络管理、网络规划、网络监控方面的需求。
21
升级会员 