用于情报收集的15大开源情报工具

开源
为了确保开源情报收集实践的合法性,必须遵守法律法规、行动透明、确保数据收集合法合乎道德。这些步骤对于保持诚信和遵守法律标准至关重要。

OSINT工具是信息收集过程的关键部分,尤其是在了解和减少网络安全情报中的攻击面方面。全球开源情报市场在2018年的价值为50.2亿美元,预计到2026年将增长到291.9亿美元,2020年至2026年的复合年增长率为 24.7%,反映出它们的重要性。

OSINT 工具在开源情报分析中有着非常重要的作用。

关键要点

  • OSINT(开源情报)工具可以高效地收集和分析公开数据,政府机构和私人组织可以使用这些数据来分析市场趋势、品牌定位等。这些工具已经从传统媒体发展到融合了网络抓取、社交媒体分析、地理空间情报和人工智能等技术,以提高数据处理的精度和速度。
  • 高级搜索引擎和专业服务(例如Internet Archive)以及浏览器扩展程序(例如 Mitaka)以及 Google 高级搜索运算符(称为Google dorks)对于出于OSINT目的探索网络至关重要。它们可以高效地导航和分析标准搜索引擎实践未索引的内容。
  • OSINT 实践必须遵守法律标准,以确保负责任的情报收集。这涉及关注道德考虑、了解法律框架以及利用 OSINT 工具(例如公共记录搜索引擎、社交媒体监控和网络扫描工具),同时保持透明度并避免未经授权的数据访问。

开源情报简介

开源情报(OSINT)是:

  • 从公开来源收集信息的艺术和科学
  • 将原始数据转化为可操作的见解
  • 随着数字世界的扩张,需求量很大
  • 政府机构和商业组织均使用它来进行侦察、加强网络犯罪调查等
  • 提供有关市场趋势和品牌定位的宝贵见解。

OSINT在广泛的OSINT数据源上运行,包括来自各种OSINT技术的公共数据,例如:

  • 广播电视
  • 收音机
  • 社交媒体
  • 网站

OSINT是收集各种格式(如文本、视频、图像和音频)数据的强大资源。结合机器学习和神经网络等先进技术,可以识别趋势和模式,并通过分析各种数据源识别个人或主题等关键要素。

OSINT 工具的演变

随着时间的推移,OSINT工具发生了重大变化。OSINT工具最初专注于报纸和广播等传统媒体分析,现在已转向利用互联网上私营和公共部门的大量信息资源。现代OSINT工具已经超越了简单的搜索引擎,现在包含复杂的分析和可视化功能。

这些平台融合了网络抓取、社交媒体分析和地理空间智能等最先进的技术,彻底改变了信息的提取和评估方式。

预计OSINT工具的未来将由人工智能和机器学习驱动,从而提高数据处理和分析的精度和速度。

顶级OSINT工具配备了增强情报收集过程的功能。这些功能之一是内置数据转换,允许将检索到的信息转换为更有用或更易读的格式。为了根据特定用户需求定制数据收集和分析,多种OSINT工具支持自定义转换。

15 种OSINT工具

个人和组织现在可以开始使用许多免费的 OSINT工具。这些工具功能广泛,可用于各种情报收集目的。

图片

1. OSINT 框架:OSINT框架是研究人员基于网络的重要工具,可按来源、类型和上下文组织开源情报资源。它广泛应用于政府、执法和企业安全等部门,以满足各种数据收集需求。社区贡献不断增强该框架,同时其运行遵守 GDPR 等法律标准,以确保合乎道德的数据收集。

2. Google Dorks:自2002年开始使用以来, Google Dorks提供专门的查询,利用 Google的庞大索引来协助安全调查。这些查询可以定位特定文件类型、扩展名、页面内的文本、标题和URL,这些工具对于探索个人和公司的详细信息非常有用。尽管搜索引擎通常不会索引日志文件等敏感数据,但Google Dorks仍然可以挖掘此类信息,为IT安全提供关键资源。

3. theHarvester :包含在Kali Linux发行版中,是一款用于收集与任何公司或网站相关的子域、虚拟主机、开放端口和电子邮件地址信息的综合工具。theHarvester利用PGP密钥服务器、Google和Bing等搜索引擎以及 LinkedIn 等社交网络等来源收集数据,支持被动侦察和主动渗透测试。此工具对于本地和第三方授权网络的渗透测试的初始阶段特别有用。

4. SecurityTrails API:SecurityTrails API允许您即时访问当前DNS 服务器记录和历史记录(称为DNS 历史记录)、域详细信息和关联域、IP信息以及WHOIS数据,以便您可以将其集成到您自己的应用程序中,用于资产发现、威胁情报、风险评分等。最好的部分是您只需要一个 HTTP 请求即可检索数据。

5. BGPView:使用BGPView轻松跟踪 BGP 路由信息和 IP 地址数据,简化网络监控任务。分析网络配置、识别安全威胁并无缝监控路由变化。这款直观的网络工具提供可直接从浏览器访问的全面见解,从而做出明智的决策以优化网络性能、识别威胁行为者的来源等等。

6. Recorded Future 漏洞数据库:从这个免费的CVE DB访问详细的漏洞信息。此工具为安全团队提供了宝贵的见解,使他们能够领先于新兴的 CVE。它包括有用的信息,例如 CVSS 分数、攻击复杂度级别、可用性、每个 CVE 的摘要,以及受影响的产品和缓解资源。

7. Triage Malware Sandbox:使用最先进、最流行的恶意软件分析沙箱之一免费探索恶意软件样本。该平台提供了一个可定制的环境,您可以在其中提交大量恶意软件样本,从而能够检测和提取各种恶意软件家族的配置。

8. Mitaka:这是一个 OSINT 浏览器扩展,可以帮助您提高日常运营效率,提供对各种情报收集功能的直观访问,以实现高效的侦察和调查任务。Mitaka 采用以用户为中心的方法开发,无缝集成了多个OSINT模块,实现了对目标实体的全面分析。

9. Recorded Future 的浏览器扩展:使用此威胁情报浏览器扩展,可以轻松访问来自任何基于 Web 的资源的情报数据,从而简化安全操作。此 OSINT 扩展将帮助您调查网络钓鱼电子邮件、检测 IOC、优先修补漏洞并加快 SIEM 中的警报处理速度。

10. HaveIbeenPwned?HaveIbeenPwned 可以帮助您检查您的帐户过去是否被盗用。该网站由 Troy Hunt 开发,他是这个市场上最受尊敬的 IT 安全专家之一,多年来一直提供准确的报告。如果您怀疑您的帐户已被盗用,或者想要验证外部帐户是否受到第三方入侵,这是一个完美的工具。它可以追踪来自许多来源的网络入侵,例如 Gmail、Hotmail、Yahoo 帐户,以及 LastFM、Kickstarter、Wordpress.com、Linkedin 和许多其他热门网站。

11. BuiltWith:作为全面的分析器,用于识别网站上部署的各种技术,从服务器框架到分析和内容管理系统。它提供对网络设置的深入分析,这对于竞争情报和技术战略制定至关重要。对于那些寻求深入了解数字平台技术基础设施的人来说,这个工具至关重要。

12. Shodan:由 John Matherly 于 2009 年构思,是一款网络安全监控器,也是深层网络和物联网的专用搜索引擎。它使用户能够探索大量联网设备,并按国家、操作系统和网络类型组织结果,为 IT 安全研究人员提供宝贵的见解。

13. SpiderFoot:由 Steve Micallef 开发,是一款出色的侦察工具,可自动执行 OSINT,在侦察、威胁情报和周边监控方面可快速获得结果。它利用 100 多个公共数据源来收集各种目标的情报,包括通用名称、域名、电子邮件地址和 IP 地址,并通过易于使用的模块选择和目标规范简化流程。

14. Maltego:由Paterva开发,是Kali Linux发行版中的一款强大工具,专为对目标进行详细数字侦察而设计。利用“转换”来集成和分析来自外部应用程序的数据,有免费版和商业版。用户可以通过Maltego平台启动调查以获得综合结果,例如 IP、域和 AS 编号。

15. Nmap:虽然一些网络扫描仪在技术上可能不被视为 OSINT 工具,但它们被广泛集成到许多此类平台中。网络扫描仪收集的信息通常可通过公共渠道访问,符合开源情报 (OSINT) 的原则。其中一个最好的例子是强大的 Nmap。此网络和端口扫描仪是用于情报收集的出色工具,它提供了数十个Nmap 命令,可从终端和 GUI 执行侦察过程。

扩展知识

什么是开源情报工具?

开源情报工具用于从社交媒体、网站和新闻文章收集公开信息,以识别漏洞并制定攻击计划。

社交媒体如何用于开源情报 (OSINT)?

可以使用 Instant Data Scraper 和 Paliscope YOSE 等工具将社交媒体用于 OSINT,从不同的社交媒体平台提取和分析数据,从而深入了解在线行为和关系。

如何确保开源情报调查实践的合法合规性?

为了确保开源情报收集实践的合法性,必须遵守法律法规、行动透明、确保数据收集合法合乎道德。这些步骤对于保持诚信和遵守法律标准至关重要。

全球范围内,开源情报活动受到不同法律法规的约束,这可能会带来风险,在我国以《网络安全法》《个人信息保护法》等法律法规约束,欧洲则是《通用数据保护条例》等法律对数据使用规定了严格的要求。在德国,开展开源情报需要有法律顾问确认的合法权益。最佳实践建议遵守服务条款、谨慎使用、避免非法数据访问并确保运营透明度。

责任编辑:武晓燕 来源: 祺印说信安
相关推荐

2023-04-25 22:02:10

2022-07-27 11:27:50

检索工具OSINT工具

2019-03-25 22:03:40

开源自然语言NLP

2022-03-21 09:25:50

Kubernetes开源DevSecOps

2020-04-28 08:34:08

KubernetesDocker开源工具

2020-03-05 13:44:58

暗网威胁情报网络攻击

2020-03-11 20:29:26

网络安全IT漏洞

2017-12-14 21:34:20

2024-12-31 15:03:57

2015-07-02 14:21:04

2020-03-23 08:00:00

开源数据集文本分类

2021-08-11 16:18:36

人工智能AI

2020-03-24 14:35:24

开源工具Joplin

2015-02-11 09:15:55

2020-08-22 11:34:05

黑产工具恶意爬虫网络攻击

2024-04-17 14:07:42

2018-09-01 16:17:08

2023-05-11 11:37:05

2015-09-02 12:05:45

2020-09-04 15:07:54

网络威胁情报CTI网络攻击
点赞
收藏

51CTO技术栈公众号