一、简介
当前计算机网络与信息安全领域，正面临着一场全新的挑战。一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快。另一方面，国家、企业和组织所面对的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。
面对这些新挑战，传统的企业安全管理平台局限性显露无遗，主要体现在以下几个方面：
1. 海量数据的处理
企业安全管理平台管理涉及企业网络中的各种安全设备、网络设备、应用系统等，每天会产生大量的安全事件和运行日志等安全数据，其数据量可能非常巨大。面对海量的安全数据，安全管理人员很难从中发现有价值的信息;另一方面，面对海量数据时，传统的企业安全管理平台技术架构在数据采集、存储、分析处理和展现方面也遭遇不同瓶颈。
2. 多源异构数据采集
企业网络中的各种安全设备、网络设备、应用系统等均可能涉及不同种类不同厂家，由于各设备的产品差异性，企业安全管理平台面对的安全数据在结构和格式上均不统一，给数据分析带来困难。这一问题造成企业安全管理平台数据采集效率降低，从而导致性能上遇到瓶颈。
3. 安全数据分散和孤立
企业网络中的各种安全设备、网络设备、应用系统等会分散在网络的不同位置，如果各个数据之间缺乏有效的关联，则会导致安全信息的孤立，形成信息孤岛，无法对大量数据进行整体性的分析。目前网络中的攻击行为一般都是分段式的攻击方式，每个步骤都可能由不同的安全设备监测发现并存在于不同日志当中，如果仅对单独设备安全日志进行分析则难以发现完整攻击行为。为了提高安全数据分析的准确性，就需要通过基于大数据的事件关联分析，找出多条报警之间的相关性，从中发现潜在的威胁行为或攻击行为。
4. 缺乏深度挖掘手段
当前网络环境中新型攻击手段层出不穷，与传统攻击手段不同，新型攻击手段更加隐蔽，用传统检测方法更加难以发现，比如APT攻击。面对新型攻击手段的长期性、隐蔽性和高级性，传统的基于实时分析的监控技术已经不再适应，为了防止新型攻击手段造成的危害，有必要对历史安全数据进行深层的离线挖掘，从大量的历史数据之中发现新型攻击行为的端倪，从而防患于未然。
以上问题，可以用一句话来总结，即海量、多源异构、分散独立的安全数据，给传统的企业安全管理平台带来了分析、存储、检索上的诸多难题。由此看来，新一代企业安全管理平台应该以大数据平台架构为支撑，支持超大数据量的采集、融合、存储、检索、分析、态势感知和可视化，将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，从而实现智能化的安全分析与决策，将机器学习、数据挖据等技术应用于安全分析，并且要更快更好地的进行安全决策。大数据的发展给企业安全管理平台带来了新的挑战，但是其催生出的大数据技术也给企业安全管理平台带来机遇和全新的活力。
二、何为大数据?
大数据的通俗定义为“用现有的一般技术难以管理的大量数据的集合”，广义定义为“一个综合性概念，它包括因具备4V(海量/多样/快速/价值，Volume/Variety/Velocity/Value)特征而难以进行管理的数据，对这些数据进行存储、处理、分析的技术，以及能够通过分析这些数据获得实用意义和观点的人才和组织。”
大数据具有四个重要特征(即4V特点)：Volume(海量)、Variety(多样)、Velocity(快速)、Value(价值)。
- Volume指的是数据量规模巨大到无法通过目前主流软件工具进行有效处理和分析，所以有必要变更传统的数据处理和分析方法。
- Variety指的是数据来源广、形式多样，包括结构化数据和非结构数据，非结构数据的增长速度比结构化数据的增长速度更快，并且具有十分可观的利用价值，对其进行分析可以揭露出以前很难或无法确定的重要信息。
- Velocity是指相对于传统数据处理系统而言，大数据分析系统对实时性的要求更高，需要在很短的时间内完成计算，否则得出的结果将是过时的、无效的。
- Value是指大数据是有价值的，但在海量数据当中，真正有价值有意义的只是很少一部分。
三、大数据在信息安全上的应用
大数据在信息安全上的应用主要表现为，数据的爆炸性增长给目前的信息安全技术带来了挑战，传统的信息安全技术在面对超大数据量时已经不再适宜，需要基于大数据环境的特点开发新一代安全技术。目前流行的安全实践主要是依赖于边界防御，依赖于需要预定网络威胁知识的静态安全控制措施。但是这种安全实践在应对目前极度延伸的、基于云的、移动性极强的商业世界来说，已经不太适宜了。基于这个背景，业界开始将信息安全的研究重点转向智能驱动的信息安全模型，这是一种能够感知风险的、基于上下文背景的、灵活的、能帮助企业抵御未知高级网络威胁的模型。而这种由大数据分析工具支持的、智能驱动的信息安全方法可以融合动态的风险评估、巨量安全数据的分析、自适应的控制措施以及有关网络威胁和攻击技术的信息共享。其次，大数据理念可以被利用到信息安全技术中来，比如通过大数据分析可以对海量的网络安全数据进行快速有效的关联分析，从中找出与网络安全相关的信息。可以预测，将大数据集成至安全实践，将会极大地增强对IT环境的可视性，提高鉴别正常活动和可疑活动的能力，从而帮助确保IT系统的可信性，并大大提高安全事件响应能力。
四、大数据安全分析
大数据安全分析，顾名思义，就是指利用大数据技术来进行安全分析。借助大数据安全分析技术，能够更好地解决海量安全数据的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。
在网络安全领域，大数据安全分析是企业安全管理平台安全事件分析的核心技术，而大数据安全分析对安全数据处理效果主要依赖于分析方法。但当应用到网络安全领域的时候，还必须考虑到安全数据自身的特点和安全分析的目标，这样大数据安全分析的应用才更有价值。
五、大数据分析在企业安全管理平台上的应用
目前应用于大数据分析的主流技术架构是Hadoop，业界在进行大数据分析时越来越重视它的作用。Hadoop的HDFS技术和HBase技术与大数据的超大容量存储需求正好匹配，Hadoop的MapReduce技术也能满足大数据的快速实时分析需求。
基于前面介绍过的传统企业安全管理平台面对的挑战和局限性问题，可以把Hadoop技术应用在企业安全管理平台中，发展成为新一代的企业安全管理平台，实现支持超大数据量的采集、融合、存储、检索、分析、态势感知和可视化功能。
使用Hadoop架构的新一代企业安全管理平台具有以下特点：
- 可扩展性：支持动态增加和删除系统节点，集群搭建方式灵活可控。
- 高效性：以分布式文件系统进行存储数据，支持海量数据的快速读/写、查询操作;采用分布式计算进行数据分析与业务操作，各业务节点独立计算互不干，节点数量越多运算速度越快。
- 可靠性：系统自动容灾(HA);采用主-从机制(Master-Slave)进行集群搭建，系统内节点间数据互相实时备份，当节点宕机时直接切换至备份节点，运算单元宕机时直接切换至备份运算节点。
- 低成本：对系统中各节点设备硬件要求不高，而且Java技术开发可跨平台，相关技术是开源的。
总之，与传统架构的企业安全管理平台相比，采用Hadoop的下一代企业安全管理平台能大大提升数据分析的运算速度，降低运算代价，提高数据安全性，为用户灵活提供各种分析引擎与分析手段。
六、总结
综上所述，可以看出借助大数据分析框架及大数据安全分析技术，能够很好地解决传统企业安全管理平台的安全数据采集、分析、存储、检索问题。从长远来看，未来的企业安全管理平台还应通过对基于大数据分析技术的机器学习、数据挖据算法、可视化分析及智能化分析等新技术的研究，完善企业安全管理平台功能，使其能够更加智能地分析网络安全态势，从而更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。但是，不论企业安全管理平台的技术如何发展，如何与大数据结合，企业安全管理平台所要解决的客户根本性问题，以及与客户业务融合的趋势依然未变。对大数据的应用依然要服务于解决客户的实际安全管理问题这个根本目标。
【本文是51CTO专栏作者“绿盟科技博客”的原创稿件，转载请通过51CTO联系原作者获取授权】
