过去五年来，安全数据收集，处理和分析已经爆炸式增长。实际上，最近通过ESG对安全分析的研究发现，28%的组织声称他们收集、处理和分析的安全数据明显多于两年前，而另外49%的组织正在收集、处理和分析更多的数据。
什么类型的数据?包括你的名字、网络元数据、端点活动数据、威胁情报、DNS/DHCP、业务应用数据等。此外，我们不要忘记来自IaaS、PaaS和SaaS的安全数据的冲击。
大规模安全数据增长的后果
安全数据的大量增长带来了许多后果，包括以下方面:
1. 需要更好的安全数据建模和管理。
根据SAS软件，大约80%的时间花在数据分析上，用于数据建模和管理。随着网络安全数据量的增长，我注意到这方面的趋势。组织正在花费更多的时间来确定要收集什么数据、需要什么数据格式、在哪里以及如何路由数据、数据重复删除、数据压缩、数据加密、数据存储等。
基于对数据管理的日益增长的需求，ESG的安全操作和分析平台体系结构(SOAPA)由一个公共分布式数据管理层来支持，该层旨在为所有安全数据提供这些类型的数据管理服务。由于大多数组织都在逐步采用SOAPA，所以应该尽早考虑安全分析数据模型。简单地说，考虑一下您想要完成什么，然后返回到所需的数据源。
2. 寻求数据合成，丰富和语境化。
所有安全数据元素都可以彼此关联，但是说起来容易做起来难。在过去，许多组织依赖于安全人员和电子表格来关联由不同分析工具生成的安全事件和警报。当网络流量分析(NTA)工具检测到可疑的流量时，分析人员获取源IP地址，调查DHCP服务器的IP租用历史，找出涉及到哪个设备，然后挖掘该设备发出的历史日志文件。
考虑到这些手工任务的低效性，我们已经看到点对点分析工具集成的增加，以及对像SOAPA那样的架构集成的更大需求。行为分析，如用户和实体行为分析(UEBA)，通过一系列嵌套机器学习(ML)算法注入多个同时发生的安全数据事件，显示了一些数据综合的前景。是的，行为分析是一项正在进行的工作，但我看到的最近的创新和进步让我感到鼓舞。
3. 高性能的要求。
大型组织正在监视数以万计的系统，每秒生成超过20,000个事件，并且每天收集TB级的数据。该数据量需要高效的数据管道和正确的网络、服务器和存储基础设施来实时移动、处理和分析这些数据。为了满足实时数据管道的需要，我看到了Kafka消息总线的广泛应用。不要忘记，我们需要足够的马力来查询TB到PB的历史安全数据，以用于事件响应和回顾性调查。这种需求导致了基于开源(如ELK stack、Hadoop等)和商业产品的安全数据湖的激增。
4. AI。
好消息是：所有这些数据为数据科学家提供了充分的机会，可以创建和测试数据模型，开发ML算法，并对其进行高精度调整。坏消息是，我们刚刚开始合并数据科学家和安全专业知识，以开发用于安全分析的AI。进步的首席信息安全官具有现实的态度。他们的希望是AI / ML可以通过提供更多背景证据，增加风险评分环境等来提高个人安全警报的保真度。换句话说，AI / ML充当智能防御层，而不是独立的无所不知的安全性分析神。
5. 基于云计算的安全分析。
毫无疑问，许多组织正在质疑,将大量资源仅用于收集、处理和存储TB甚至PB级的安全数据作为现代安全数据分析需求的先决条件是否明智。使用大规模的、可伸缩的基于云的资源不是更容易吗?根据我对市场的观察，答案是肯定的。IBM和Splunk报告称，它们在基于云的SIEM方面增长强劲。SumoLogic声称拥有超过2000名客户，而谷歌(Chronicle Backstory)和微软(Azure Sentinel)则是基于云的安全分析领域的新亮点。期待亚马逊也加入这个行列。随着安全数据的不断增长，安全分析向云的“提升和转移”只会获得动力。
著名科技作家杰弗里·摩尔曾说过:“没有大数据分析，公司就会变得又瞎又聋，像高速公路上的鹿一样在网上游荡。”虽然摩尔在谈论网络的早期，但这句话同样适用于安全分析。是的，组织可以极大地提高其降低风险、检测/响应威胁以及通过强大的安全分析自动化安全操作的能力。然而，为了实现这些结果，CISO必须从一开始就对安全数据建模、管道和管理进行充分的规划和工作。
