NetStream技术白皮书0518Word文件下载.docx

1、网络监控NetStream技术能够实现近于实时的网络监控功能。RMON、RMON-2和基于信息流的分析技术可以用来形象化地表示单个路由器和全网范围内的流量模式，并提供预先故障检测、高效故障排除和快速问题解决功能。应用监控和分析通过NetStream技术，可以获得详细的网络应用信息。例如，网络管理员可以查看Web、文件传输协议（FTP）、Telnet和其它著名的TCP/IP应用所占通信量的百分比。Internet内容和服务提供商可以根据这些信息来规划和分配网络和应用资源以满足用户需求。 用户监控和分析NetStream技术使得网络管理者可以获得用户利用网络和应用资源 的详细情况，进而用于高效地规

2、划和分配资源，并保障网络的安全运营。1技术简介NetStream是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP地址，协议类型，相同的源和目的协议端口 号，以及相同的ToS的报文，通常为5元组。NetStream会记录这个流的统计信息，包括：时间戳，报文数，总的字节数。NetStream主要包括三个设备NDE（NetStream Data Exporter），NSC（NetStream Collector），NDA（NetStream Data Analyzer），三个设备之间的关系如下图所示。图1 NetStream的设备角色NDE负责流量的采集和发送；NDA复制对统计

3、信息分析，分析的结果为网络计费，网络规划，网络监控，应用监控和分析等提供依据。（1）NetStream Exporter对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出给NDC设备，输出前也可对数据进行一些处理，比如聚合。（2）NetStream CollectorNetFlow Collector是运行于Solaris平台上的UNIX应用程序。负责解析NDE的报文，把统计数据收集到数据库中，可供NDA进行解析。NSC可以采集多个NetFlow设备输出的数据，对数据进行过滤和聚合。（3）NetStream Data AnalyzerNetStream Data Analyzer

4、是一个网络流量分析工具，从NDC中提取统计数据，进行后续处理，为各种业务提供依据（比如网络规划，攻击监测），具有图形化用户界面，使用户可以获取、显示和分析从NetStream Collector收集的数据。2关键技术2.1NetStream的报文格式NDE收集的网络流的统计信息是封装在UDP报文中输出给NSC/NDA的，一个UDP报文中可以携带多条统计信息记录。这些统计信息记录的格式是由NDE设备决定，NSC/NDA收到NDE 发来的统计报文后，先判断记录的版本，不同版本的记录有不同的记录格式。目前支持三种版本格式的记录：V5、V8、V9。报文格式如下图所示：图2 NetStream的报文格式

5、表1 三种报文格式的比较Version格式说明优点比较缺点比较V5报文格式固定，不易扩展；根据七元组产生的原始数据流输出的字段比较丰富，可以把聚合前的流记录的所有字段都输出给NSC；内容丰富；设备负荷较小。格式固定且不可扩展；数据量大，NSC无法长期保存；收集器（NSC）和分析器（NDA）压力大。V8报文格式固定，不易扩展。数据量相对较小；承载内容略为简单，适合特定分析；可以增加新的聚合方式。格式固定且不可扩展。设备完成聚合工作，负荷较重,只用于将聚合后的流信息输出给NSC。增加新的聚合方式，需要主机和网流收集器升级版本。V9报文格式基于模板，易扩展；可输出两种数据类型，一种是统计数据，第二种

6、是选项数据。最灵活的输出格式，格式可以变化；可以用来输出聚合前的流记录，也可以输出聚合后的流记录。V5用于把流的详细信息输出给NSC/NDA。V8用于将聚合后的流信息输出给NSC/NDA。V5和V8共同的缺点是。随着用户新需求的提出，NDE需要扩展输出信息，这时，还需要修改NSC/NDA的软件来适应NDE的变化，这样会造成不同厂家甚至是同一个厂家的不同版本的NSC/NDA软件无法解析NDE的统计报文。V9和之前版本的最明显区别是，它是基于模板（template）的。模板提供了灵活可扩展的报文输出格式，这使得在不改变基本记录格式的情况下，容易的增加的新的流统计服务。V9模板的优势：1）灵活性，允

7、许单独输出需要的域统计信息，而不需要把所有的IP流信息都输出给NSC，减少了输出流的数据量和NDE和NSC的可能的内存需求以及带宽需求。2）在不需要改变输出报文格式的情况下，在输出记录中可以增加新的域。与之相反，之前版本，增加新的域意味着出现新版本的输出协议格式，为解析这种新的格式，NSC需要提供新的支持。3）因为是以模板的形式输出信息，所以，即使NSC无法理解新增的域的真正语意，它仍然可以解释流记录。V9流数据模板与流数据如下图所示：图3 V9流数据模板与流数据2.2NetStream流输出的三种方法NDE对流的输出可以采用三种方法：逐流、采样和聚合。逐流就是将每条流的统计信息输出给NSC设

8、备，采样就是按比例的统计流信息输出给NSC，NSC按照采样率恢复成原始的统计。逐流的优点是：NSC可以得到流的详细信息，可以对这些流记录进行更为灵活的后续处理，缺点也是很明显的，增加了网络带宽和设备的CPU占有率，而且为了存储这些信息，需要大量的存储介质空间，并且有可能用户并不需要如此详尽的信息。采样可以降低存储介质空间的压力，但是统计信息会失真。有没有即解决逐流信息爆炸，又减少采样失真的方法呢？于是提出了聚合的概念。所谓聚合，是指按一定的策略，将具有相同属性的流的流统计信息合并，比如：两个自治域间的所有报文，具有相同目的地的所有报文。在NDE设备上，先对流进行聚合，然后向NSC输出聚合后的信

9、息，这样，就明显减少了网络带宽、CPU占用率和存储介质空间。目前共支持10种聚合方式，详细解释见下表。表1 NetStream的10种聚合方式聚合方式说明as自治系统聚合，根据NetStream 流的源、目的自治系统号，输入接口索引，输出接口索引，4个关键值进行分类，具有相同关键值的流合并成一条聚合的流，并对应一条聚合信息。as-tos自治系统-TOS聚合，根据NetStream 流的源、目的自治系统号，输入接口索引，输出接口索引，ToS，5个关键值进行分类，具有相同关键值的流合并成一条聚合的流，并对应一条聚合信息。protocol-port协议-端口聚合，根据NetStream 流的协议号，

10、源端口，目的端口，3个关键值进行分类，具有相同关键值的流合并成一条聚合流，并对应一条聚合记录。protocol-port-tos协议-端口-ToS聚合，根据NetStream 流的协议号，源端口，目的端口，ToS，输入接口索引，输出接口索引，5个关键值进行分类，具有相同关键值的流合并成一条聚合流，并对应一条聚合记录。source-prefix源前缀聚合，根据NetStream 流的源自治系统号，源掩码长度，源前缀，输入接口索引，4个关键值进行分类，具有相同的关键值的流合并成一条聚合的流，并对应一条聚合记录。source-prefix-tos源前缀-ToS聚合，根据NetStream 流的源自治

11、系统号，源掩码长度，源前缀，ToS，输入接口索引，5个关键值进行分类，具有相同的关键值的流合并成一条聚合的流，并对应一条聚合记录。destination-prefix目的前缀聚合，根据NetStream 流的目的自治系统号，目的掩码长度，目的前缀，输出接口索引，4个关键值进行分类，具有相同的关键值的流合并成一条聚合的流，并对应一条聚合记录。destination-prefix-tos目的前缀-Tos聚合，根据NetStream 流的目的自治系统号，目的掩码长度，目的前缀，ToS，输出接口索引，5个关键值进行分类，具有相同的关键值的流合并成一条聚合的流，并对应一条聚合记录。Prefix前缀聚合，

12、根据NetStream 流的源、目的自治系统号，源、目的掩码长度，源、目的前缀，输入接口索引，输出接口索引，8个关键值进行分类，具有相同的关键值的流合并成一条聚合的流，并对应一条聚合记录。prefix-tos前缀-ToS聚合，根据NetStream 流的源、目的自治系统号，源、目的掩码长度，源、目的前缀，ToS，输入接口索引，输出接口索引，9个关键值进行分类，具有相同的关键值的流合并成一条聚合的流，并对应一条聚合记录。2.3NetStream统计信息的提取与输出处理NDE统计信息的提取与输出处理过程如下图所示。图4 NDE统计信息的提取与输出处理统计信息提取单元进行流的识别，把符合预定条件的流

13、信息输出到统计信息处理单元， 在统计信息处理单元可以对流信息进行聚合，并对流记录进行老化。老化后的流由打包输出单元打包输出。NDE的统计报文可以输出给单台NSC，也可以配置NDE同时向两台NSC输出，NSC互为备份，这样可以减少报文在NDE到NSC传输过程中丢失概率，NDA从两台NSC上获取统计信息的并集，就可以获得相对准确的统计记录，如下图所示。图5 NetStream的数据输出2.4NetStream的能力1.支持的接口支持在物理接口和子接口上使能NetStream功能，对以太口（FE、GE），ATM口，POS口的接口流量进行统计；支持对绑定到VPN的接口的入方向使能NetStream功能

14、。2.通过NetStream可获得的信息源前缀（Source prefix）源前缀掩码（ Source prefix mask）目的前缀（Dest prefix）目的前缀掩码（Dest prefix mask）源自治域号（Source AS）目的自治域号（Destination AS）源协议端口号（Source port）目的协议端口号（Dest port）IP协议类型（IP protocol）入接口索引（Source interface）目的接口索引（Dest interface）服务类型（ToS）被聚合的流的数量被聚合的报文总的字节数被聚合的报文数量第一个报文的时间戳最后一个报文的时间戳n

15、ext hop router IP address 3.入方向、出方向的流量统计a）对接口的入方向单播流量进行统计；b）对接口的入方向和出方向的单播流量同时进行统计；c）对接口的入方向组播流量进行统计；d）对接口的出方向单播流量进行统计；e）对接口的出方向组播流量进行统计；f）对接口的入方向和出方向的组播流量同时进行统计；g）V5可以按流（入接口，出接口，源IP，目的IP，协议类型，源端口，目的端口，TOS, 源AS和目的AS）进行统计。这些统计信息可以按V5或V9格式输出给网管。4.采样功能，即按比例统计接口的流量a）基于报文个数的采样，最大可设2的15次方个报文采样一个；b）支持报文个数的

16、随机采样。5.流量发送流量统计结果可以发向两个网管服务器。6.支持聚合当前支持10种聚合，每种聚合支持两种格式输出（V8/V9），如果输出采用V9报文格式，可使用独立的模板参数协商配置，支持双目的地。详细说明见NetStream流输出的三种方法一节的表格。3典型应用3.1NDE的部署在网络的接入层、汇聚层、核心层的网络设备上，都可以通过插入NetStream业务板使能NetStream，根据流量流向需求，采取相应的使能策略。表1 NDE使能NetStream策略说明部署位置应用接入层应用监测、攻击监测汇聚层计费、AS Peer监控核心层流量分析、流量工程3.2安全监控图6 安全监控在接入或者汇

17、聚层的路由器的入接口上启动NetStream特性，可以统计用户访问网络的详细记录，通过异常流量识别网络攻击，定位攻击源，为网络安全策略的制定和实施提供依据。3.3AS域规划图7 AS域规划在核心层的出口路由器的AS接入接口，启动NetStream特性，同时启动出接口、入接口统计，根据需要配置流属性源/目标AS号为Original AS 或Peer AS，NetStream的流量统计信息为运营商间结算、网络规划提供数据。3.4组播流量统计与规划到用户的组播流量组播源的流量图8 组播流量统计与规划在组播路由器的组播源的入接口启动NetStream特性，可以统计组播源的流量。在用户接入接口启动Net

18、Stream可以统计组播复制的流量，为IPTV、流媒体/视频点播等组播业务提供网络规划、设备扩容的数据依据。3.5ISP间的流量分帐图9 ISP间根据IP前缀按流量分帐在城域网汇聚层或者骨干层的ISP接入接口启动NetStream特性，同时启动出接口、入接口统计，通过目的IP和掩码，采用destination-prefix聚合，统计访问不同ISP的流量，为ISP间的分帐提供数据。4结束语NetStream基于“流”进行流量采集和聚合，可以为基于资源（如线路、带宽、时段等）占用情况的计费提供了精细的数据，可以为先进的网络管理工具提供关键信息，以便优化网络设计和规划，实现以最小的网络运营成本达到最佳的网络性能和可靠性。能够实现近于实时的网络监控功能和全网范围内的流量模式，并提供预先故障检测、高效故障排除和快速问题解决功能，提供安全监控等应用和分析。NetStream将不断推进网络流量流向分析技术的发展，为广大运营商计费结算、网络规划、网络运维提供数据支撑。附录A 缩略语NDE NetStream Data Exporter流量输出器NSCNetStream Collector流量收集器NDANetStream Data Analyzer流量分析器