如今已是互联网时代,每天都有数不清的新应用出现,不断吞噬着网络带宽。扩容等手段并不能很好地解决问题,反而在一定程度上加剧了应用流量失控的局面。在这样的背景下,流控作为一种独立产品形态逐渐走向前台,被越来越多的用户所关注。但它不像防火墙、IPS那样成熟,许多功能仍处于尝试、完善的阶段,围绕着产品本身也出现了一些争议。加上流控市场有点像UTM大潮初起时,混乱且无序,用户在选型时不免遇到一些困扰。今天就让我们剥茧抽丝,讨论一下流控产品的发展及选型应用之道。
殊途同归的技术路线
简单的说,能对网络流量进行应用识别,并基于流量的应用归属提供可视化、管理与优化的设备,就可以叫做流控。满足条件的产品在市场上有很多,它们基本上可以归为两类,即"根正苗红"的流控和安全网关剪裁得到的流控。前者一般由传统流控厂商推出,他们长期专注于流控领域,在技术积累方面有自己的优势,对市场需求的跟进速度较快。例如基于应用的路由功能,就是传统流控厂商率先在设备中提供支持。另一类产品则由安全厂商所力推,随着安全业务逐步向应用层迁移,应用识别已成为新一代安全产品中的基础功能。无论是UTM、防毒墙还是上网行为管理,都需要优秀的应用识别引擎做为安全业务有效性及性能的保障。在这种情况下,流控成为新一代安全产品剪裁得到的副产品,安全厂商藉此杀入这片蓝海。
流控产品背后同时出现网络厂商和安全厂商的影子,是技术发展的必然结果。基于DPI实现的应用识别功能已经成为基础性的技术,被广泛应用于不同领域。从网络厂商的角度看,路由器、应用交付设备都可以借助应用识别掀起新一轮革命,目前的流控产品已可以看做它们的雏形。而站在安全厂商的角度,应用识别技术的运用则更为普及。它既能工作在底层,为所有应用层安全业务提供支撑,又可以独当一面,以应用可视化的功能形态出现。尤其是在NGFW(下一代防火墙)的概念兴起后,应用可视化及管理特性俨然成为了安全产品的事实标准。实际上,我们认为未来应用层安全产品的软件结构都会趋于统一,高性能包转发系统和基于DPI的应用识别引擎将成为所有应用层安全业务的基石。而流控,完全可以看做是前两者加QoS模块构成的产品形态。
虽然技术路线上殊途同归,不同领域厂商推出的流控产品还是存在一定的差异。安全厂商在流控产品规格、接口扩展性、性能方面占有一定优势,一些机架式产品已经具有上百G的整机性能,且能弹性部署升级。但在应用识别率方面,此类产品或多或少地为保障性能做出牺牲。我们曾经测试过一款支持应用协议识别的安全网关,该产品只对连接的前16个数据包进行分析。如果16个数据包仍未能判断出协议类型,则直接归为未知应用。传统流控厂商推出的产品通常则以更高的应用识别率为目标,会对数据包进行更细致的跟踪分析,得到的统计数据也更全面,缺点是不具有安全业务的扩展性,多数产品在性能指标上与主流安全网关只开启流控功能时存在差距。
硬件架构方面,传统流控厂商从成本、开发难度等角度考虑,大多使用了通用的x86平台;安全厂商则多使用专用的网络业务处理平台,在I/O能力上曾占有优势。但随着近年来英特尔在嵌入式领域的大力投入,新一代x86平台在计算能力、I/O、功耗、可靠性等方面都有了质的飞跃,用做流控时的表现已不弱于专用的网络业务处理平台。我们的测试及部分厂商的内部测试结果表明,在最新的Sandy Bridge平台上,流控产品完全可以达到40G的整机处理能力,可以说目前流控产品的性能已与硬件架构无关。
归属权:新的矛盾
未来的网络必定具有应用感知特性,而这一特性究竟应该由网络设备还是安全设备实现,是一个非常敏感的问题。毕竟在许多大型用户的IT部门组织结构中,负责网络和安全的是两个截然不同的团队。更有甚至,有用户处出现了IT部门业务保障团队与安全维护团队的纠纷,其原因是流控产品实施的某些封禁策略影响到企业业务系统的正常运行,造成了经济损失。应用识别与控制特性的归属权,陷入了管理流程与权限上的灰色地带,让CIO们颇为尴尬。悲剧的是,现阶段用户部署流控设备就必须面对这个问题;而不部署流控,应用流量失控对网络及业务造成的影响,又是IT部门不可承受之重。
除了用户内部的管理矛盾,许多厂商也因流控产品的归属问题处于对立面。网络厂商(主要是传统流控厂商)认为流控的网络属性天经地义,毕竟这类产品不对应用内容进行排查;安全厂商则认为有"状态"的业务都属安全范畴,并且应用流量失控会造成关键业务中断等安全事件。我们认为两种说法都有一定的道理,因为流控的产品形态本身正处于网络与安全的中间状态。需要特别注意的是,千万不要让产品归属之争左右了选型意向,除非所处行业有特殊规定,否则网络产品的入网证和安全产品的销售许可证在用户面前只是厂商为不同领域竞争对手设置的壁垒,不要让小小贴纸成为好产品的拦路虎。
流控产品的归属问题倒是应该引起行业主管部门的注意。相传国内某整体网络解决方案提供商之前在海外运营商市场折戟沉沙,就是因为使用了具有应用层内容过滤功能的产品当做流控投标(过滤功能没有通过授权许可开放)。根据当地法律及行业规范要求,用于运营网络的流控产品必须在源代码中就不能存在任何内容过滤相关的功能(即便没有通过授权许可开放)。该公司事后痛定思痛,计划将产品线进行剥离,在面向运营网络的所有产品中彻底删除所有涉及应用层业务的代码。目前我国虽然在行业信息化建设方面还没有类似规定,但在隐私保护呼声渐高的今天,这个问题需要得到各行业主管部门的重视,给出具有前瞻性的指导方案。
认清需求 理智抉择
面对流控市场的纷纷扰扰,用户难免在选型时陷入迷茫。在这个时候,不妨再准确梳理下自己的需求,将其细化到产品对应的功能、性能指标,制定出理智的招标要求。对于应标产品应一视同仁,最好在实验室环境测试设备的真实性能及在功能上的满足度,再到真实环境中进行长期的稳定性测试。如果未来有计划购买流控设备上更多业务的授权许可(例如安全业务),最好能预先开启相应功能进行测试,以免届时遇到性能瓶颈,让原有计划变成纸上谈兵。
许多用户认为,流控的作用就是在网络出口做应用流量控制,保证关键业务、提升内网用户的上网体验。其实这只是此类设备的一种应用场景,作为网络基础架构层面的新面孔,流控有着越来越多的适用领域。我们曾对流控产品在一些大型行业用户网络中的应用情况进行过调查分析,归纳出3种常见的部署模式,供读者参考:
" 使用流控对全网流量进行应用识别,获取不同时间段的监控结果及分析报表,为管理决策提供数据支撑。
" 使用流控针对不同应用设定流量限速策略,可以用更少的带宽达到更好的网络访问体验,在解决问题的同时降低成本。动态限速是被用户越来越多提到的需求,例如在网络空闲的时候,适当允许P2P应用占用更多的带宽。
" 使用流控基于应用做分流,例如将邮件、网页浏览路由到质量高(通常带宽低且贵)的链路上,将P2P下载、在线视频等非关键应用路由到质量低(通常带宽高且便宜)的链路上,在提高可靠性的同时降低成本。
除此之外,流控产品也被大型行业用户挖掘出一些新的应用场景,其中比较具有代表性的是:
" 使用流控基于应用做流量镜像,将特定应用的流量路由或镜像到其他设备上,在提高业务有效性的同时为下游设备减负。例如只将需要进行病毒过滤的流量路由/镜像到防毒墙,不但比基于端口的方式更精准,也减小了防毒墙在I/O方面的压力。
" 使用流控在数据中心边缘监控/保障特定应用,将其当做IT合规的审计工具。例如某些行业规范要求,必须保证Web服务器与数据库服务器间只有SQL流量。
" 使用流控对WLAN接入的流量进行分析,实施有针对性的管理及优化策略。大范围部署无线网络的运营商已经提出了这一需求,相信随着BYOD模式的普及,行业用户也有着同样的需要。流控产品必须与时俱进,加入对移动终端类型及移动互联网应用的支持。
它山之石:厂商眼中的高校网络与流控产品
除了用户自己,最了解用户需求的莫过于为其提供产品解决方案的众多厂商。所以本次我们也采访了7家有流控产品在售的业内厂商,了解一下他们对流控技术与产品发展的看法。厂商所处领域的不同,不免影响到其看待问题的角度。这是件好事,看问题的角度越多,得到的结论自然也就越全面。
需要说明的是,我们采访前的调研对象中有相当多的高校信息中心老师,他们无疑是对流控产品最感兴趣的一类人。结合高校网络的特点来看,流控在之前提到的所有场景中都有用武之地。尤其是基于应用的路由功能,对于大多采用多链路接入的高校用户来说尤为重要。我们也在后续采访过程中请厂商针对高校的需求进行了深入的分析,并给出了落地到产品的改善建议。
7家受访厂商中,灵州网络、迈科网络、派网科技是长期坚持以流控技术为核心的厂商,并且目前所售产品也主要以流控为主。这3家厂商对应用流量失控造成的影响有着更加细致的解读,同时提出了一些产品模式及功能上的创新。某种意义上,他们的思路可以看做流控产品形态变化的风向标。
迪普科技、山石网科则是国内安全领域的新兴势力,均以网络安全起家/见长。他们的产品都属于多功能安全网关范畴,除流控外还可提供丰富的网络基础功能及多种安全业务,在采访中也更多体现出看问题及产品解决方案的全面性。以应用安全起家的深信服科技则是另一种思路,他们似乎在努力把流控的功能做细做深,并且努力与其占据市场优势地位的上网行为管理产品进行融合。深信服科技也是采访中唯一将移动终端/移动互联网应用的识别做为重点的厂商,这应是流控产品形态发展的一个方向(已经有行业用户在招标中提出这方面要求)。
H3C则是本次采访中唯一能够提供整体网络解决方案的厂商,所以其强调流控与网络设备融合的观点并不令人感到意外。不管流控产品归属到网络领域还是安全范畴,应用识别技术与网络基础架构的融合趋势都不会受到影响。
采访内容按企业名称拼音顺序排列
H3C安全产品部产品经理 张东亮
由于资费等原因,高校网络出口带宽一般比较有限。通过流量分析可以看出,占用带宽较多的主要是迅雷、BT等P2P下载和QQ直播、迅雷看看等在线视频应用,严重时会影响到教科研相关业务的使用体验。扩容并不是解决问题的最好方法,很多情况下,网络拥塞不会因为带宽增加而得到缓解。这就如一条没有交通规则的公路,不管扩到多宽,也很快就会被堵死。H3C认为,合理的解决方法是通过在出口处部署流控设备,实现业务流量的可视化,同时针对P2P、视频流等非关键业务在策略上做严格限制,将整网流量有序化。考虑到不同时段,校内不同区域网络流量模型自身的特点,流量控制策略的配置需要针对时间、IP地址等元素进行更为细致的设定,方可保证带宽分配的合理性。
H3C SecPath ACG系列产品是H3C面向运营商、大中型企业、教育系统开发的专业应用控制网关,提供高性能2-7层深度报文检测、流量统计以及全面的带宽控制功能,赋予用户分时段、分区域进行精细化流量管理的能力,使带宽资源得到合理、充分的使用。该系列中亦有可用于H3C路由器、交换机的插板形态产品,让网络基础设施也能拥有应用的感知与控制能力,符合未来发展趋势。
迪普科技产品部副部长 孙晓明
迪普科技认为,高校网络类似于一个小型的运营商网络,一般拥有多个带宽、资费标准不同的互联网出口。如何综合考虑各方面因素,为师生提供最佳的网络访问体验,成为一个重要课题。大体上,目前高校网络出口存在"路径优化"、"大容量NAT""流控"、"法规遵从"、"恶意代码抑制"等需求。仅就流控而言,校园网用户数量众多,流量构成复杂,带宽需求量大,仅采用针对用户的带宽及连接数限制是不够的,必须辅之以基于应用的流控手段。也就是说,网络出口设备不仅要识别传输协议,还要识别到细粒度的应用。例如同为P2P模式的应用,在线视频就应当保证,P2P下载则要被限制。
针对高校网络出口的应用流量控制需求,迪普科技的UAG3000系列产品及DPX8000上的UAG插卡都可以提供完备的流控能力,在微秒级时延下达到最大200G的整机性能。UAG引擎目前能够识别超过1600种协议,可以进行精准的流量控制,同时提供多维度的、丰富的数据分析报表。利用智能阻断和动态协商技术,该产品将流控的带宽消耗降低到5%以内,实现"零带宽损失"。UAG还特别支持IPv4/IPv6双栈的特性,以满足高校中越来越多的IPv6部署需求。
灵州网络首席技术官 梁翊
根据灵州网络的统计,目前高校网络出口带宽多在1G-4G左右,而终端接入带宽则为百兆乃至千兆,且难以采用运营商常用的PPPoE方式对带宽及安全进行控制。其结果是出口带宽相对紧张,百兆接入终端的网络攻击行为就足以威胁校园网出口安全。此外,校园网中应用更新速度快、突发性强(例如时下欧洲杯期间造成的视频流量激增),流控设备必须在性能及协议更新响应速度上有所保障,才能实施精准的流量控制。鉴于高校网络普遍采用了多链路接入的模式,链路负载均衡/NAT也应成为评估流控产品的重要指标,这不仅可以减少网络出口的故障点,也使链路质量具有更好的优化效果。
针对高校网络出口的普遍需求,灵州网络提供了运营级链路出口优化解决方案,可实现应用流量、链路资源及用户身份的可视可控。作为方案核心,新一代多功能网关集成了流量分析、带宽管理、链路负载均衡、NAT和应用路由等互联网出口必需的接入和管控功能,整机最大性能达到双向20G。该产品还在传统流控技术的基础上,结合独有的带宽巡航及流控损耗优化等技术,在流量优化过程中减小带宽损耗,提升网络访问体验。
迈科网络产品总监 潘月来
根据迈科网络的统计数据,高校网络出口的承载与运营商相仿但实际压力更大,部分高校出口带宽利用率已经达到100%,网络拥堵情况严重。从流量分布来看,视频类应用以超过40%的比例排在首位,P2P下载虽然排在次席,但高并发会话的协议特点一直是造成出口压力的重要原因。Web浏览的流量虽呈下降趋势,其体验却是评估网络质量的重要指标。社交类、网游类应用的流量也不容小觑,学生对这类应用的延迟非常敏感。这些事实表明,流量控制的焦点已从早期的P2P下载限制渐变为用户体验的保证,履行管理职能的高校网络中心也面临从管理到服务的角色转变。
面对需求的变化,流控产品必须与时俱进。迈科网络目前针对高校用户主推的AM-6000系列产品可以在多千兆环境下实现线速处理,整机最大处理能力达到14G;基于Sandy Bridge平台的新产品能够达到万兆线速的处理能力,已在部分高校做开局测试。功能方面,该系列产品解决方案可实现基于用户身份的精细化管理,能够根据应用特点动态优化流量,而不仅仅只做控制。对外的带宽分流功能可以根据需要将指定应用流量分配到不同的链路,对内的流量配额(Quota)设定则很可能是未来高校网络的最佳管理方式。
派网科技总经理 王涛
高校网络与运营商网络类似,都难以对终端实行准入机制,也不可能对上网流量进行严格控制,所以不管出口带宽多大都会被跑满。流控产品虽然在教育行业应用较早,但在愈发复杂的互联网应用面前,其对流量的管控能力在逐步下降。这归根结底是应用识别率的问题,没有准确的识别结果为基础,流量控制乃至应用路由都无从实现。
派网科技始终专注于应用流量的管理与分析,在提升协议识别率方面摸索出一套行之有效的方法。自6年前发布第一代产品时起,Panabit就采用了"小步快跑"的互联网模式打造与运营,通过免费发行的标准版快速积累了一批稳定的用户群体。来自他们的主动反馈促使产品可靠性、易用性与功能覆盖面逐步提升,也让Panabit在应用识别率及更新速度方面保持领先。针对一些多出口环境中流量不对称对协议识别造成的影响,派网科技率先在产品中集成了智能P2P辅助分析模块,通过数据模型对流量行为进行关联性分析,进一步提升了应用识别率,在一些高校测试后得到了非常积极的评价。这一新特性能够与Panabit完善的应用路由功能及高达40G的处理能力相结合,为高校用户提供了一站式应用流量管理解决方案。
山石网科首席技术官 刘向明
高校网络出口类似于运营商,存在着多链路、高带宽、海量接入的特点。根据山石网科的统计,目前高校网络中主要分为两类应用:第一类是用户感知较强的网页浏览、网络游戏等,第二类是P2P模式为主的下载、在线视频等。通常用户感觉网络体验不佳是因为第二类应用抢占了过多资源,这也是需要进行应用流量控制的主要原因。山石网科建议,要根据用户、应用和行为对链路资源进行分配与控制,并对一些非关键应用进行限制。这种控制应是弹性而非静态的,即不仅要控制不同应用的带宽,还要根据总体负载来弹性调整带宽的控制力度。鉴于接入链路的质量与价格存在差异,网关也应提供应用引流技术,将不同优先级的流量牵引到不同链路,从而更合理地利用链路资源。
针对以上需求,山石网科推出了一系列高性能安全网关,最高可支持百万级新建连接/NAT及千万级的并发访问,在海量接入时依然可提供可靠的业务支撑。该产品具有较强的应用识别及控制能力,多链路环境下提供ISP路由和应用引流方案,当某条链路出现故障时,还能将流量分配到其他链路。结合产品本身强大的安全防护特性,为高校网络出口提供了高质量网络接入及安全保障。
深信服科技市场行销部技术总监 殷浩
根据深信服科技了解到的情况,目前国内高校出口带宽在3G-6G的占到总数的60%,6G以上则占20%,部分高校甚至已完成万兆接入的部署。出口带宽的增加带动了设备升级,也对流控产品的性能与稳定性提出了更高要求。另一方面,随着移动终端的普及,无线网络大量出现在校园中,高校互联网出口中来自移动终端的流量有显著增长。这其中很大一部分是IOS/Android等非Windows设备,它们的网络流量模型及应用特征都有很大改变,流控产品须能识别终端类型及应用,才能准确、合理地管理流量。此外,IPv6已在高校率先推广使用,对IPv6流量的分析与控制能力将成为未来高校的重要需求。
深信服科技推出的融合流控功能在内的第二代上网行为管理产品具有万兆接口及与之匹配的处理能力,支持对IPv6及IPv4封装IPv6的流量进行分析与控制。该产品内置了850种以上的互联网应用,其中包括了Windows、IOS、Android等平台上的主流应用,可对互联网流量做更全面的分析与识别。新增加的动态流控特性可根据链路带宽空闲比例自动调节流控策略,更好地保证了高校出口带宽的利用率。