在繁忙的数字生活中，网络威胁变得更加复杂和频繁。仅靠传统的方法已经无法确保网络足够安全。随着网络变得错综复杂，机器学习（ML）越来越不可或缺。机器学习可以帮助企业加强防御，积极应对新的威胁。
作为人工智能的一个关键组成部分，机器学习为计算机提供了类似人类的能力，可以在没有直接编程的情况下从数据中学习并做出预测或决策。在深度学习领域中，现在已逐渐将焦点对准机器学习，因为其反映了人类大脑的工作方式。机器学习特别擅长处理复杂的任务，尤其是非结构化数据，这也是成为现代网络安全中识别和应对威胁的关键工具的原因。
内容概述：
- 机器学习技术
- 迭代ML过程
- 特征工程
- 决策树
- 集成学习
- ML用例
- 用于数据处理的聚类
- ML作为决策支持工具
机器学习技术
通常，机器学习技术分为三大类，每一类都有自己独特的应用程序和方法：
- 监督学习：在监督学习中，算法提供了标记的数据集，使其从示例中学习并预测正确的输出。这种类型的学习进一步分为两个子类：分类和回归。在网络安全中，监督学习被广泛用于恶意软件/网络钓鱼检测、垃圾邮件过滤、图像分类和欺诈检测等任务。
- 无监督学习：无监督学习算法不依赖于标记数据，用于识别没有预定义类别的数据中的模式。聚类是无监督学习中的一种先进技术，用于客户细分、异常检测和传入流分析。
- 强化学习：强化学习训练机器在环境中根据奖惩做出决策。这种类型的学习更先进，可应用于机器人、推荐系统和自适应恶意软件检测。
机器学习的类型及其应用实例
迭代ML过程
机器学习过程是高度迭代的，涉及各种关键步骤：
- 问题定义：明确定义要解决的网络安全问题。
- 数据收集：收集相关的高质量数据，因为它对模型有效性有显著的影响。
- 数据探索：了解数据的特征、结构和局限性，从而发现潜在的网络安全威胁。
- 数据预处理：清理、转换和组织数据，使其适合ML算法。
- 模型创建：选择合适的算法，设计模型架构，并在准备好的数据上进行训练。
- 模型评估：评估模型的性能，以确保其符合需求。
- 模型部署：将模型实施到网络安全系统中，主动进行保护。
机器学习的过程
特征工程
在为机器学习算法准备数据方面，特征工程发挥着至关重要的作用。这些方法主要处理数字，将原始信息转换为数字形式，也称为“特征”。该过程涉及制定相关特征，这些特征有效地指导算法推导特定查询的解决方案。例如，在对文件进行分类时，大小、类型和相关描述等属性可能很有价值。
举个例子，假设我们的目标是生成关于公司客户的预测模型。由于不可能将真人输入算法，所以必须为模型提供这些客户的代表性特征。我们需要仔细选择这些特征，最大限度地提高与研究问题的相关性。这些特征可以是静态属性，例如年龄、地理位置或经常访问的购物类别；也可以是基于客户行为的动态属性，例如最近的活动指标：是否更改了密码或使用了新位置？
特征举例
对文件进行分类时也采用同样的方法。特征可能包括文件大小、类型、功能和其他描述性信息。特征工程的艺术和科学是机器学习过程中的一大步，需要仔细考虑从而确保所选择的特征能够为算法提供有意义的输入，最终建立更准确、更稳健的模型。
决策树
作为机器学习算法的一个例子，让我们来谈谈决策树算法。决策树是一种流行的机器学习算法，类似于树状图，节点表示属性，叶子表示输出或类标签。通过提出一系列问题，算法在数据中导航从而做出决策。决策树可以作为更先进技术的基础，如随机森林。
决策树示例
集成学习
集成学习将多个机器学习模型组合在一起以提高准确性。随机森林就是这样的技术，它可以根据数据样本训练每棵树，并根据票数多的做出决定。
另一种流行的集成学习是梯度提升。与独立建造和训练树木的随机森林不同，梯度提升会按照顺序建造树木，每一棵新树都是为了纠正前一棵树所犯的错误而设计的，从而逐步提高模型的性能。当我们需要较高的预测能力时，梯度提升非常有效。目前梯度提升已成功用于各种网络安全应用，例如识别钓鱼页面。
集成学习代表了机器学习应用程序先进的水平，展示了多个“较弱”的模型如何结合在一起形成一个“较强”的模型。
渐变增强示例
机器学习用例
虽然我们考虑了许多先进的机器学习方法，但它们如何在网络安全中应用和使用？让我们来看看一些案例。
恶意软件检测
机器学习是对抗恶意软件，或者简单地说，是对抗有害软件的强大工具。病毒、木马、勒索软件和间谍软件等破坏性软件可能会威胁数据安全、系统可靠性和隐私。
基于机器学习，随机森林和支持向量机（SVM）等算法构成了恶意软件检测的主干。这些算法深入研究软件二进制文件的微小细节，因为这些细节就像软件程序的DNA。通过研究这些二进制信息，可以发现代码中隐藏的威胁；还可以发现可能被人类分析师忽视的模式和异常之处，从而加快检测速度。
网络钓鱼检测
网络钓鱼攻击是一种常见的网络安全威胁，旨在诱骗人们泄露登录信息、信用卡号或社会安全详细信息等敏感数据。这种攻击通常伪装成合法的电子邮件或网站，欺骗用户相信他们正在与一个值得信赖的网站交互。
机器学习模型由梯度提升和决策树等算法提供支持，可以以惊人的速度分析大量电子邮件内容和网站URL。这些算法有能力检测网络钓鱼最微小的迹象，如可疑的电子邮件地址、细微的拼写错误、URL异常或对个人数据的异常请求。
通过在恶意软件和网络钓鱼检测中使用ML的预测能力，网络安全措施变得更加积极主动。配备ML的系统可以预先识别和减轻威胁，而不是在发生后对违规行为做出反应。
异常检测
异常检测是指发现行为异常的数据点，显示意外模式。想象一个具有简单一维值的数据集，其中大多数数据点都聚集在一个中心点的周围。假如一个数据点偏离了这个组，那么很容易将其标记为异常。在单个变量数据集中发现异常可能非常直接。
但是，随着数据变得越来越复杂，这项任务更具挑战性。例如，在有两个变量的数据集中，分别考虑每个变量时，异常可能不会显现；只有同时查看这两个变量时才能发现异常。当处理包含数百甚至数千个变量的数据集时，检测异常会变成一项复杂的任务，需要仔细检查变量组合，才能有效地发现潜在的异常情况。
异常检测技术
异常检测在网络安全中有多种重要应用：
- 网络异常：网络是网络攻击者的主要目标，检测异常网络行为对于防止数据泄露和未经授权的访问至关重要。异常检测技术有助于识别异常网络流量，指出潜在的网络入侵或可疑活动。
- 信用卡欺诈：在金融部门，异常检测在检测欺诈性信用卡交易发挥着关键作用。它能够分析交易模式并识别异常活动，例如在短时间内从不同地点购买，或偏离持卡人消费习惯的大额购买。
- 可疑客户行为：
在电子商务和在线服务中，异常检测被用来发现可疑的客户行为。它有助于识别偏离用户典型交互的活动，例如异常登录位置或多次登录尝试失败，这可能表明有人在尝试未经授权的访问或帐户泄露。
异常检测技术的选择在很大程度上取决于数据类型和任务的具体要求。在存在已知模式的情况下，可以将静态规则与ML模型相结合，以提高检测精度。了解要检测的异常类型也至关重要。数据是平衡的、具有自相关的还是多变量的，都会影响异常检测策略的选择。
用于数据处理的聚类
通过聚类算法进行数据处理也是机器学习在网络安全中有价值的用例。在处理大量数据时，遇到大量独立和未知文件的任务可能会令人望而生畏。聚类技术通过相似性进行分组来拯救数据，从而降低数据的复杂性并使其更易于管理。
聚类算法，如K-Means和层次聚类，都有助于将大量非结构化数据点转换为定义良好的对象组。通过相似性组织数据，分析师可以更清楚地了解整个数据集，使数据分析更加高效。
传入流群集
集群在网络安全中的一个显著好处是自动注释数据。当对象组包含已注释的对象时，可以自动处理已注释的部分。此外，机器学习算法可用于将新样本与先前分类的样本进行比较，从而简化流程并减少所需的人工注释量。
传入流集群-注释过程
通过将数据组织成有意义的集群，网络安全专家可以更全面地了解数据集。这种增强的知识能够更好地做出决策，从而实现更准确的威胁评估和对潜在安全风险做出更快的反应。
聚类算法在增强网络安全方面发挥着至关重要的作用。随着数据变得更加结构化和基于相似性进行分组，手动数据分析的负担显著减轻。分析师可以专注于高优先级任务，将重复和耗时的任务留给聚类算法。
机器学习作为决策支持工具
虽然机器学习很强大，但也必须认识到它的局限性。机器学习算法需要大量高质量的数据，结果如何取决于所用数据的质量。了解手头的数据和问题对于成功实施至关重要。在某些情况下，现成的解决方案可能就足够了，反而复杂的机器学习技术可能没有必要。
ML作为决策支持工具
机器学习在网络安全领域开辟了新的道路。从检测恶意软件和网络钓鱼攻击到处理大量数据和识别异常，机器学习是一套多功能的工具来加强数字防御。随着网络环境的不断发展，对于应对新的威胁和确保网络安全来说，支持机器学习至关重要。虽然机器学习不是一个神奇的解决方案，但如果经过深思熟虑和战略性的应用，它将成为一个宝贵的决策支持工具，从而帮助网络安全专业人员自信地驾驭复杂的数字安全世界。
原文标题：How Machine Learning is Helping Businesses Combat Cyber Threats，作者：Nadezda Demidova
原文链接：https://hackernoon.com/how-machine-learning-is-helping-businesses-combat-cyber-threats
