随着互联网、智能移动设备、物联网技术和云计算的快速发展和不断应用，组织和企业的网络和信息系统每天都在产生大量的数据，而且产生的速度越来越快，这使得我们已经进入了大数据时代。大数据时代的安全信息具有海量、高速、多样、低价值密度等特点，如何对安全大数据进行管理和分析，帮助用户获取智能的、深入的有价值的信息变成了信息安全分析和管理领域的重要课题之一。
尽管传统的安全管理平台在满足客户安全管理需求、支撑客户安全管理工作方面起了很关键的作用，但随着信息安全威胁的不断变化，企业和组织的日常信息安全管理工作面临着新的形势。企业和组织需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。针对复杂攻击，企业和组织尤其需要加强对核心敏感数据和业务系统的保护，防止由于安全攻击给企业和组织带来损害。同时，企业和组织需依法加强对信息安全的管理以满足国家政策法规的要求，这对企业和组织的信息安全管理和分析提出了新的挑战。
传统安全管理平台的分析方法和处理能力已无法满足海量数据环境下的信息安全分析和管理的需求，主要表现在以下几个方面：
1) 高速海量安全数据的采集和存储变得非常困难
不同规模的大型企业和组织每天发生的事件在上百亿到上千亿条之间。随着企业和组织规模的扩大，雇员的增加，部署设备的数量增加和性能扩大，应用系统的日益增多，IT环境向云计算架构的迁移，大型组织和企业的用户环境发生了很大的变化，安全信息的规模变得非常庞大和种类繁多。企业和组织为了应对安全威胁的挑战，需要采集的信息种类增加，数量增大，这使以日志和事件为代表的安全信息的采集规模变得日益庞大，由传统的数千EPS（Event Per Second）提升到数万EPS，如US CERT在2013年时每天利用SIEM分析的事件量为20亿条；中国CNCERT2014年时每天捕获的网络安全事件约为2000亿条，近10大类。如此海量的数据规模的采集和存储，这对使用传统技术如关系型数据库（OldSQL）的安全管理平台（SOC）来说是不可完成的任务。传统的关系型数据库技术架构在处理数据扩展上遇到了困难，当数据表不断扩大，单台机器存储不够用时，需要使用多台机器，传统的关系型数据库为了应对这种情况，需要使用复杂的技术将多个关系表分片到多台机器上，但随着数据量继续增大，数量最多的数据表又无法放在一台机器上，这将会成为瓶颈。因此，传统的安全管理平台的数据处理架构无法满足大数据流量的现实情况。
2) 异构数据的存储和管理变得困难
最新的安全检测和分析技术不仅有对安全日志和事件的分析（日志审计），还有对原始流量的分析（IDS/ IPS），对网络流的分析（NBA/DDoS Detector），对全包流量（Sniffer）和对文件的分析（APT检测/沙箱/邮件阻断系统）等，这些分析技术仅能对多种异构数据进行快速检测和小数据存储，而无法对海量的历史数据进行存储及后期的分析，即无法检测长周期数据，这使得后期的取证和分析变得困难。
3) 对历史数据的分析能力偏弱
传统的安全管理平台可以保存历史数据。当安全分析人员创建一条关联分析规则识别威胁时，想了解历史数据中是否有相同的威胁，则需对历史数据进行检测以发现历史上已发生的威胁。随着海量事件的增加，对历史数据的分析和检测变得异常困难。首先，以前保留大量的数据在经济上不可行，尽管随着存储成本的下降，使组织和企业可以保存较长时间的安全数据，同时还需要低成本的数据仓库技术用于管理数据，随着历史数据的增大，搜索速度则快速下降，导致安全分析人员对历史数据的分析效率和时间无法忍受，同时会耗费大量的计算资源，影响系统工作。针对其他的实时分析工具，由于无法保存历史数据，更无法对历史数据进行检测。低成本的海量数据的存储与管理，快速高效的历史数据的分析对传统的安全管理平台提出了挑战。
4) 安全事件的调查效率较低
在信息安全分析和管理工作中，尽管有安全分析等自动化工具的大量建设和部署，但最重要的仍然是人——安全分析师。安全分析师的工作是无法被替代和减少的，只能越来越重要。而在大数据时代，安全分析师必须借助有效的分析工具才能完成对海量数据的分析和调查，否则将会被浩如烟海的数据累死而一无所获。传统的安全管理平台通过对关系型数据库的查询来帮助安全分析人员完成安全事件的调查，随着数据量增大，查询效率变得非常低，查询延时大，再加上复杂的组合查询条件，查询效率和时延根本无法满足安全分析人员对事件调查的需求，亟需改变这种查询低效的问题。
5) 有效的分析方法依然缺乏
事件关联分析一直被认为是传统的安全管理平台中识别安全威胁的关键技术。但多年以来，一直饱受诟病。传统的关联分析基本都属于基于规则的关联分析，即针对威胁的已知场景提取威胁特征，并依据这些特征对后续数据进行匹配和分析，以发现符合特征的安全威胁，特征关联只能快速识别规则所能描述的已知的问题，无法识别未知的攻击，或者是尚未被描述成规则的攻击和行为。当前的攻击和违规越来越隐蔽和复杂，如0Day漏洞和APT攻击都利用了未知的漏洞和威胁方法，基于规则的分析则无能为力。这种被动关联的效果严重受制于规则库的积累。而规则的撰写又需要专业的安全领域知识，因此实用性受到很大制约。客户迫切需要一种更加有效的高级分析机制，借助机器学习技术和行为建模技术，智能化地去识别网络中的攻击，尤其是未知的攻击行为。
传统的关联分析以事件为主要分析对象。由于事件自身存在很多局限性，分析出来的结果也难以准确。因此，需要将更广泛的安全要素信息纳入关联分析的范围之中，包括情境信息（譬如资产信息、拓扑性能、可用性与性能信息、弱点信息、威胁情报信息、身份信息、业务信息等）、网络流信息，甚至是原始报文信息。
大数据时代的信息安全分析正在转变成为如何对海量的数据进行分析和挖掘。通过海量数据的深度挖掘与机器学习，使安全分析人员可以有效地应对高级可持续性威胁（APT，Advanced Persistent Threat）和来自内部人员的威胁，发现未知威胁。只有通过针对海量数据的分析挖掘才能使客户应对日益复杂的攻击和威胁，实现由“被动发现”到“主动发现”的信息安全分析和管理的升级。
6) 对于趋势性的东西预测较难，对早期预警的能力不足
随着信息安全建设逐步引向深入，管理者越发体会到了安全工作是全局一盘棋。正所谓“不谋全局者，不足谋一域”，网络安全管理工作急切需要获悉全网的整体安全态势。传统的安全管理平台对实时产生的数据进行分析的能力较强，为组织的安全管理人员在海量数据态势要素信息的获取、分析和展示等诸多方面提供有力的支撑，帮助安全管理人员掌握整体安全态势。但如何从当前和历史数据中对未来趋势进行预测的能力较弱。目前态势感知和分析的方法还比较少，如何根据已有的数据产生早期预警，对可能发生的威胁进行提前预防，这将能更好的提高组织的信息安全分析和管理水平。随着处理数据规模的快速增长，如何从海量数据中快速感知当前组织面临的信息安全态势对安全管理平台提出了新的挑战。
7) 系统交互能力有限，数据展示效果有待提高
尽管传统的安全管理平台提供了一些数据可视化的工具，可使安全分析的数据和结果可视化的呈现给安全分析人员。但现有系统的交互能力都较弱，安全分析人员使用安全管理平台与数据进行交互分析，如事件调查，历史回溯，条件组合查询，结果查看等的效果都有待提高，才能满足安全分析人员的需求。无论何时，人都是信息安全分析和管理的第一要素，因此良好的人机交互才能为安全分析人员提供了一个有力的武器，良好的工作舞台。
8) 如何进行积极主动的安全管理？
当前的安全管理平台以安全事件为核心分析要素，偏事后分析，以被动响应为主。安全事件是对已经或者正在发生的行为的描述，分析结果更多地指导我们进行故障处置和应急响应。对于客户而言，更希望安全管理平台能够告诉他们哪里可能会出问题，而不仅仅是哪里出了问题。因此，积极主动的安全管理至关重要，客户迫切需要一套前摄性的安全分析、管理机制和技术支撑手段，尤其是能够主动地应用各种安全威胁情报信息。
针对以上安管平台面临的新挑战，我们该如何办？
应对安全大数据带来的新问题，还需要用大数据的技术来解决。只有将大数据分析技术充分融合到现有的安管平台技术架构中才能使传统的安管平台焕发新生。我们将融合大数据技术的新一代安管平台及其配套机制称作SOC3.0。
在SOC3.0时代，安管平台将继续紧密围绕业务、采用主动的和真正具有安全智能的管理技术，并采用融合大数据技术的软件架构，为组织的核心战略和业务使命达成服务，满足安全合规和监管需求，为安全运维人员和分析师提供日常安全分析和威胁管理的工作利器，为组织运营管理提供决策支撑，真正成为组织信息安全保障体系中的核心和工作中枢。
在DT时代，融合大数据技术的SOC3.0应具有以下技术特征：以数据为核心，有新技术提供低成本、高可靠、可弹性扩展的数据处理能力，满足组织对异构海量安全数据的处理需求；以关联分析（知所已知）和行为分析（知所未知）为两翼，为安全管理人员提供智能化分析方法，以应对日益复杂的隐蔽攻击和威胁，从数据中发现价值；以运维和管理为动力，提供流程辅助、合规管控、安全分析和决策支持等能力；同时，通过可视化技术和人机交互为安全管理人员提供工作接口，展现数据价值。
最后，必须指出，SOC3.0不是对现有安管平台的否定和颠覆，现有的安管平台仍将具备应用场景。SOC3.0是顺应大数据时代要求的产物，但目前、甚至最近几年还有很多企业和组织的安全管理并非都居于大数据场景之下，我们也不能一味求变，还需要切合自身实际。因此，SOC3.0仍将与现有安管平台并存一段时间。
