过去十年中，网络威胁情报(CTI)取得了飞速发展，其目的是通过结合计算机科学和情报学科来对抗网络威胁。
由黑客组织实施的网络攻击是最常见且损失最为高昂的网络安全事件，但防御端的检测和响应却极为迟钝，现代企业检测网络入侵的平均时间为206天，而平均缓解和遏制时间则为73天。
为了弥合这一差距，网络安全社区创造了网络威胁情报(CTI)的概念和方法。威胁情报的主要目标是建立相对于网络威胁参与者的知识优势。在战术和运营层面，威胁情报加快了恶意行为的早期检测，最好是在恶意参与者在网络中立足未稳之前。在战略层面，威胁情报为决策者提供了对相关威胁环境的感知和认识。实际上，威胁情报是民用和私营部门的替代品，用来代替传统的情报共同体(IC)开展防御性情报工作。
最初受雇于IC的许多技术专家已经为威胁情报供应商工作，例如CrowdStrike、FireEye、Talos和Kaspersky。威胁情报界对网络威胁进行公开和商业化的情报分析，凭借其深厚的技术专长和主题知识，威胁情报界在应对未来几年的网络安全威胁方面潜力巨大，顶级的威胁情报服务商某些情况下能够达到甚至超过政府情报机构的能力。
与看上去有些务虚的“风险管理”不同，网络威胁情报更加实用，可实操，且能够应对高度动态的环境。许多当年的杀毒软件供应商已经改变了业务方向，成为商业威胁情报提供商，提供有关网络威胁参与者的高价值情报分析服务。如今，威胁情报在日常网络安全实践中已经开始发挥重要作用。
近日，荷兰政府高级网络威胁情报分析师Kris Ossthoek在《国际情报与反情报杂志》上撰文指出，虽然威胁情报是网络安全领域的重要补充，但它仍处于起步阶段。威胁情报面临的挑战不仅是技术和战术层面的情报质量和情报分享问题，还包括方法论和流程问题。
Ossthoek认为，虽然今天威胁情报界已经拥有丰富的工具和技术知识，但最初的创新脚步已停滞不前，缺乏标准化和方法论，产品或服务缺乏流程，是威胁情报融入网络安全防御体系的最大挑战。
以下，是Oosthoek在论文中指出的威胁情报面临的六大难题，概括整理如下：
1. CTI缺乏方法论
Sherman Kent的《分析学》，Richards Heuer的《情报分析心理学》和《结构化分析技术》。许多网络安全会议的演讲者都会提及这些著作和术语来让威胁情报看上有着严谨的理论基础和科学严谨性。但事实上威胁情报大多数内容都是建立在松散的概念之上，并不具备严格的分析能力。如今，大多数威胁情报分析都是由警报和传入的原始数据而不是预先确定的假设进行输入驱动的。缺乏方法论导致企业难以分析每天大量产生的IoC数据点与特定威胁环境的相关性。另一方面，缺少(基于方法论的)流程会导致威胁情报分析瘫痪，尤其是在较小的团队中。尽管计算机科学领域已经提供了几种支持数据预处理的机器学习算法，但将隐性知识转换为算法可能在未来几年仍将是一个尚未解决的挑战。解决之道在于引入流程，而不是更多的技术。
2. 威胁情报是共享的，但只是口头上的
珍珠港事件和911事件都是IC情报共享的最佳反面教材。由于交通灯协议(TLP)的限制，CTI的共享更加复杂。TLP使用交通信号灯颜色指示是否可以跨信任边界(组织、信息共享和分析中心[ISAC])共享信息。红色限制只向直接参与者分发，而绿色限制向社区公开。白色表示共享不受限制。但是灰色区域(Amber)则模棱两可：只能在您的组织内共享，而特定约束可以由源机构指定。此外，TLP仅适用于人与人之间的共享，不适用于基于计算机的威胁数据共享，后者依赖机器与机器共享的正式标准，例如结构化威胁信息表达。但是，大多数威胁情报数据仍以非结构化方式共享。
ISAC(信息分享与分析中心)促进了各个行业和企业之间的信息共享。ISAC可以成为免费交换优质CTI的良好来源。但是，ISAC的成功往往只能维持最初的阶段，因为分享的意愿取决于ISAC的规模。一旦有其他参与者进入ISAC，共享效率就趋于下降，因为参与者不希望有免费服务。如前所述，这不是技术问题，而是信任问题。
3. 威胁情报质量通常很差
威胁情报数据的种类很多，最常见的形式是IoC失陷指标，包含与恶意活动相关的信息，例如IP地址、域名或文件哈希等，其中用作识别恶意文件的指纹的文件哈希是IoC共享最多的数据类型，但价值“保鲜期”很短，因为恶意软件发展极快。严格来说，IoC本身不具有情报价值，因为它们需要与网络基础结构日志记录上下文相关联。一个普通的中型组织的IT系统每天会产生数百万条系统消息，其中只有极少数是由人类分析人员调查的。基于IoC的检测可以促进基于风险的优先级，但这取决于IoC的质量。如果产生太多的误报，将导致分析人员的告警疲劳。
当前，大多数威胁情报共享发生在痛苦金字塔的底部。完整的TTP很难以机器可读的方式共享。MITRE ATT&CK框架是朝着正确方向迈出的第一步，但作为一个专业领域，威胁情报仍然需要朝着标准化迈进一大步。由于需求大于供应， 当下许多防御者摄取尽可能多的情报数据，从而产生了信噪比问题。正式的CTI方法论的引入将有助于提高威胁情报的质量。
4. 威胁情报供应商的不透明
威胁情报市场的“水很深”，您知道如何对供应商的威胁情报质量进行评估?他们的原始情报是如何获得的?他们的传感器如何分布，是否存在偏差?
到目前为止，大多数组织都是威胁数据的“消费者”而不是“客户”，它们对情报数据提供者的方法不仅未知，而且对它的来源也一无所知。
由于缺乏研发资源，商业威胁情报提供者经常将其CTI数据外包给竞争对手。网络威胁联盟就是一个众所周知的例子，通过该联盟，25个成员组织每月共享400万个可观察物。商业威胁情报提供者结成联盟可能导致某些威胁的报告出现重叠，而免费提供的开源威胁情报在很大程度上没有这种问题。对于许多从业者来说，这种重叠是未知的，并且由于商业情报的高价位，在实践中很难识别。
5. CTI过于偏颇
从商业角度来看，情报供应商喜欢专注于大型国家行为者，与低级别的网络犯罪行为者相比，实际上国家黑客对企业和个人的威胁往往被夸大了。威胁供应商报告的大部分内容都集中在国家黑客这种吸引眼球但实际威胁很小的子集上，这些威胁可以增加阅读的趣味性，但与我们的大多数日常威胁情报实践并不十分相关。
6. CTI归属很难
出于营销目的，全球主要威胁情报提供商热衷于为各个威胁组织起各种炫酷的名字。结果同一个黑客组织被冠以五花八门的名字，给归因带来极大麻烦。例如，同一个俄罗斯一个军事情报组织被不同威胁情报提供商起了十多个名字：花式熊、APT-28、Sofacy、STRONTIUM、Sednit、沙皇团队、燕尾、典当风暴、TG-4127、灰熊草原等等。由于威胁情报界不存在通用的命名约定，导致两个问题，首先，实际存在的威胁数量在很大程度上被高估了。其次，缺少命名约定会使情报共享变得复杂。同一黑客组织的每个不同名称都是一个额外的数据点，使推理复杂化，还会增加信噪比。
【本文是51CTO专栏作者“安全牛”的原创文章，转载请通过安全牛（微信公众号id:gooann-sectv）获取授权】
