流量监控和分析解决方案的虚拟化仍然缺乏我们在过去十年中在IT行业的许多其他领域观察到的虚拟化方法。收集日志、事件和告警的管理应用程序已经设计成软件并进行了虚拟化,但是分析网络流量并创建这些信息的繁重工作仍然基于繁重的方法:使用昂贵、复杂且不灵活的专有应用程序实时处理流量。即使以硬件为中心的网络部门也在虚拟化交换机和路由器,但许多网络分析解决方案仍然使用专有硬件。
然而,下一代网络可见性平台现在支持流量分析应用程序的虚拟化,从而迎来了用于网络、应用程序和安全操作的软件定义分析应用程序的时代。这允许更灵活的分析,更好的理解,以及最重要的是更经济和可扩展的方法,这是安全行业真正需要的。
HeavyIron用于网络流量分析
如今,监控网络流量主要是硬件密集型的,很难跨企业的许多交付平台和位置进行扩展。但是,监控流量对于评估网络和应用程序性能,特别是检测安全威胁至关重要。由于不同的分析目标,许多解决方案分析相同的流量,每个解决方案都在自己的专有硬件上,导致重复的流量,甚至产生更多的硬件来处理和存储不断增长的流量。
长期以来,一直存在一个问题,即网络和安全操作如何构建一个可伸缩的、具有成本效益的系统来解密和分析不断扩大的网络流量。几十年来,服务器和存储基础设施已经成功且高效地虚拟化了计算和存储组件。甚至在过去几年的网络中,交换机、路由器和防火墙都已经虚拟化了。虚拟化在流量监控和分析中的应用仍然是一项新兴技术。网络和应用程序管理系统、SIEMs和soar是虚拟化的,因为流量是可管理的,时间不太敏感——但当需要处理太多数据时,即使是这些系统也可能会遇到困难。在大多数情况下都需要专用硬件,特别是当网络流量超过10gbps时。
当这个模型被复制到许多需要实时流量分析的应用程序中时,就会产生许多“烟囱式”解决方案。这些解决方案使用专门的NIC卡捕获和分析相同的流量,拥有在fpga上或跨多个处理器同时运行的定制分析引擎,能够实时跟踪传入流量的分析,然后存储结果并丢弃底层流量。
这些技术的成本和规模限制了IT部门对网络运营的洞察力,不仅限制了可以分析的通信量,而且只保留了任何事件或观察的概要细节。另一个限制是丢弃对以后的根本原因分析非常有价值的底层数据。因此,部署通常集中在关键的聚合站点,如网络入口-出口点(南北),但它可能在其他地方(如内部核心网络或高价值内容)有益或需要。对于那些经常依赖于网络或端点设备生成的事件和流数据的IT组织来说,这将创建进一步抽象的元数据,以更少的洞察贡献更多的数据。
可扩展性和经济可行性
网络数据包代理是解决这个问题的初始步骤。IT部门很久以前就发现,为每个应用程序单独使用网络线路是低效的,并且会产生额外的故障点。这促使了包代理的引入,它聚合来自网络中多个点的流量,过滤掉不需要的流量,戳戳数据包,为每个工具复制和负载平衡流量,并解密通信。尽管包代理接管了某些网络流量分析,如NetFlow流量分析,但大部分分析负载仍然依赖于分析应用程序和它们自己的硬件。
此外,过滤掉可能不重要的流量而不分析它(例如,来自应用程序性能监视的YouTube流)对于某些应用程序是有效的。然而,特别是在安全方面,现在所有的流量都是开放的。因此,限制可见性将流量排除在分析之外,并增加错过导致大规模利用的一次攻击的风险。然而,这种方法的主要挑战是,NVF仍然通过流量激增和峰值,并且流量以很高的速率再现,这要求分析应用程序依靠大量的处理来正确地评估峰值速率下的数据。
翻转网络分析
我们现在需要考虑虚拟化网络流量分析,以利用虚拟化环境的可伸缩性。本质上,我们需要重新思考流量分析架构。
网络流量可见性平台包括应用程序需要检查的所有信息,同时允许可靠的流量分配和消耗。如果需要进一步处理,则可能启动分析引擎的一个新的虚拟实例
现在,每个流量分析应用程序都捕获流量,进行实时分析,并存储元数据发现。展望未来,我们需要重新考虑这种方法,进一步集中分析中的流量捕获和存储,允许监视应用程序进行近乎实时的分析。这种新策略将进一步的通信量捕获、解密和存储功能集中在一个平台上,并允许利用软件api分配通信量。现有的NVF技术只集中了流量聚合。通过存储数据,这实际上扩展了NVF的能力来控制时间,将包代理和包捕获解决方案的优点结合到一个单一的、统一的平台中。
这创建了一个网络流量可见性平台,其中包括应用程序需要检查的所有信息,同时允许可靠的流量分配和消耗。如果需要进一步处理,则可以在可靠地捕获流量并在几乎实时或实时的情况下随时可用时启动分析引擎的一个新的虚拟实例,无论何时启动资源,都不会丢失一个包。
这大大改变了方法。分析应用程序现在可以实时甚至接近实时地运行,而不是失去流量,而不是大型分析和计算基础设施在无法跟上流量时失去对信息的访问。额外的优点是,任何事件周围的实际网络流量都可以用于详细的取证分析,从而更深入地了解事件前后的活动。这种回溯分析与网络安全尤其相关,因为新的攻击方法可能已经存在,但未被发现。
这种进一步集中流量收集的方法能够以极高的速率存储和分发,允许在较便宜的服务器上虚拟化资源密集型的流量分析和操作,从而消除昂贵的专有硬件。网络可见平台吸收了流量峰值和增长,因此针对平均流量消耗的设计成为常态,延长了当前监控和分析设备的寿命,并推迟了必要的改进。随时数据访问提供了对任何事件(事件前和事件后)的快速数据包访问,提供了识别威胁或问题严重性、影响和缓解措施的上下文。虚拟化分析允许软件定义的流量监控和分析,在降低总拥有成本的同时,创建更好的可视性和洞察力。