本文将探讨网络安全中的大数据。更确切地说，探讨绕过使用大数据的保护系统的难易程度;或者换句话说，如何欺骗高级威胁检测系统。而有些营销人员声称，没有任何可疑的数据可以通过检测系统的检测。大数据分析系统可以作为检测可疑活动(如SIEM和XDR)的主要工具之一。
大中型企业通常使用这样的平台。他们拥有庞大的网络和云计算基础设施，每小时都会发生数百万个攻击事件。自然，没有办法人工分析它们。它是通过大量使用技术手段进行的。值得注意的是，在大数据和网络安全领域，专家的可用性是一个必要的组成部分。
这样的系统有什么作用？
它们允许识别大量结构化和非结构化数据中未经授权活动的迹象。考虑到在一个平均由1万个端点组成的网络中，每天传输大约25TB的数据，扫描所有这些数据的任务变得非常困难。但是，有几种算法可以提供帮助。
威胁检测平台(特别是XDR)的一个基本质量标准是异常检测的准确性。通常，XDR解决方案包括负责收集和处理事件的SIEM平台、检测和响应异常所需的EDR模块，以及收集有关用户操作和/或端点、服务器和网络设备的大量数据的UEBA系统，以及然后使用机器学习算法来构建行为模式，并尝试识别异常情况。
这种异常的最简单的例子是，例如在深夜，服务器突然开始主动与远程主机通信，这是以前从未在日志中看到的。这种情况偶尔发生，不是经常发生，但这一事实看起来可疑。另一个例子：突然之间，从分配给单个员工的办公设备中，每隔三四天就会有几十兆字节的数据传到某个地方，而根据访问系统中的信息判断，这可能有问题。
上面提供的例子通常非常明显。还有一些不太常见的事件，它们之间的联系一点也不明显，但机器可以看到一切。
机器能看到一切吗？
在弗兰克•赫伯特所著的著名科幻小说《沙丘》中，沙虫会摧毁任何发出具有节奏的声音的东西。无论是人员还是机器。然而，沙漠居民已经学会了使用模仿沙漠自然噪音的特殊不规则步态来欺骗警惕的沙虫。为了提高可靠性，他们使用了特殊的分散注意力的装置，当这些装置被激活时，会开始发出响亮的有节奏的敲击声。沙虫们蜂拥而至，让人们有时间去他们需要去的地方。
这些类比并不是巧合。事实上，想要绕过大数据分析系统的网络犯罪分子将不得不花费大量时间和精力。这是一个好消息。俣可悲的是，任何安全系统都可以找到弱点。
上述安全系统的基础是一种知识库，它是有关潜在威胁以及有关受保护资源的结构和功能的信息的组合。该知识库有助于确定什么是正常的事件过程，什么是异常。
大数据分析系统可以以多种不同的方式工作。例如，可以对Hadoop进行编程以检测任何进入或离开网络的事物。通过这种方式，可以在网络犯罪分子的控制下识别受感染的电脑或服务器与主机之间的可疑通信。还可以配置系统日志的监控。
预警平台可以从受保护的基础设施内部收集和积累数据，确定什么被视为正常行为，从外部收集有关潜在威胁和风险的数据，使用大数据分析来确定是否在其保护范围之外观察到类似的事情。
黑客如何绕过保护
自然，网络攻击者知道此类系统的工作原理。他们能做什么?首先，进行针对性攻击的操作人员将进行侦察。这一步可能需要很多时间。侦察的对象不仅是目标基础设施的硬件系统和软件，还包括其操作人员。员工分享自己的信息越多，就越容易对他或他的同事进行网络钓鱼攻击。众所周知，相当多的成功攻击都是从网络钓鱼开始的。
网络攻击者的下一个任务是最小化他们对安全系统的可见性。这里有几个选项。网络犯罪分子可能会使用目标基础设施中已有的合法开源工具(例如PowerShell和管理工具等)在受到网络攻击的网络中移动。此外，他们可以使用无文件恶意软件破坏系统工具，如果没有检测到，网络攻击者能够在被攻击的网络中不被注意地移动。
然而，如果他们过于活跃和具有规律，检测系统就会做出反应，这意味着黑客将不得不尽可能缓慢地行动，而且其间隔没有规律。
例如，如果目标基础设施中只有一两台机器每周甚至一个月被扫描一次，那么安全系统几乎不可能检测到任何东西。
如果网络攻击者所需的数据不是由一个受感染的帐户收集的，而是由十几个帐户收集的，并且如果这些数据不是在一个远程服务器上发送的，而是发送给许多远程服务器，那么检测系统工作所依据的威胁模型可能是错误的。
另一个糟糕的场景是这样的：员工将一些文件复制到他的闪存驱动器中。离开大楼后，他把口袋里的垃圾扔进垃圾桶，其中包括一个闪存驱动器。数据泄露防护(DLP)系统可能无法始终抵御内部威胁，尤其是在专业人员积极主动地进行攻击的情况下。
另一个值得关注的方面是针对少量典型场景训练的开箱即用检测系统。他们需要一些时间才能从其他系统(威胁源)获得足够的关于潜在威胁的信息，并使它们适应他们的模型。
如果网络攻击者设法想出一个不太典型的攻击场景，他们就有机会在安全系统检测到之前有时间实施它。
当然，当存在多个进入基础设施的入口点时，网络攻击者会安排某种明显的事件，例如DDoS攻击或故意检测到的将某些数据传输到远程主机。而这只是一个烟幕弹，可以分散对实际攻击的注意力，而实际攻击是在完全不同的领域进行的。
人们可以在任何系统中找到漏洞并提出利用它们的方案。一般来说，无论是人类还是人工智能都无法预见一切，但有可能使网络攻击者的任务变得极其困难。为企业基础设施提供所有可用的高级安全工具是可能且必要的。
如何进行保护
现在，网络犯罪分子和XDR系统之间展开了一场军竞赛。黑客在寻找弱点，而防御者的任务是将进入点的数量降至最低。
对于大多数网络犯罪分子来说，大公司可用的基于大数据的技术和工具通常过于昂贵。重大网络攻击和数据泄露是由高级网络团伙执行的。尽管如此，在大多数情况下，当今的网络事件始于对特定用户的针对性攻击。
首先，除了使用先进的技术保护手段外，企业还需要让其用户为可能的网络钓鱼攻击做好准备，并训练他们应对社会工程技巧。所有员工都应该至少对如何在工作场所内外确保自己的信息安全有基本的了解。由于向远程工作的大规模过渡，这一点尤为重要。此外，有必要尽量减少可能的入口点的数量。这些可以是连接到企业网络并可从外部访问的任何设备。入侵者可以利用配置不正确的驱动器、非常旧但仍在运行的路由器和物联网设备。
