Go语言助力安全测试：24小时内发送5亿次HTTP/1.1请求-51CTO.COM

作为一名安全研究人员，我需要定期对大量的目标主机进行安全扫描。最近，我遇到了一个挑战：需要在短时间内向250万台主机发送5亿次非RFC标准的HTTP/1.1请求，理想情况下是在几个小时内完成。经过一番研究和实践，我成功地使用Go语言构建了一个高效的“HTTP大炮”，并成功完成了任务。

为什么选择Go语言

在众多编程语言中，我最终选择了Go语言作为实现工具，主要原因有三点：

简洁易懂： Go语言语法简洁，易于学习和使用，即使像我这样并非专业的Go语言开发者也能快速上手。
并发支持： Go语言内置了强大的并发原语，例如goroutine和channel，可以轻松地实现高并发程序。
运行速度快： Go语言编译型语言，运行速度非常快，可以充分利用多核CPU的性能。

当然，我也尝试过使用Rust语言来实现，但异步tokio类型的复杂性让我望而却步。相比之下，Go语言的并发模型更加直观易懂，即使是JS开发者也能轻松驾驭。

5亿次HTTP/1.1请求意味着什么

你可能会问，5亿次HTTP/1.1请求到底意味着什么？这是一个很大的数字吗？答案是肯定的。

如果使用curl命令逐个发送这些请求，即使每秒发送2个请求，也需要7.9年才能完成。在实际情况下，由于服务器的速率限制和网络延迟，所需时间会更长。

从数据传输的角度来看，5亿次HTTP/1.1请求的数据量并不算太大：

请求数据：5亿 * 1KB（平均请求大小） ≈ 478GB
响应数据：5亿 * 5KB（平均响应大小） ≈ 2.33TB

真正的挑战在于如何高效地建立连接、发送请求和处理响应。

发送单个HTTP/1.1请求的步骤

虽然在代码层面，发送一个HTTP/1.1请求只需要简单的几行代码，例如：

resp, err := http.Get("https://example.com")

但在底层，HTTP库需要执行一系列操作：

DNS解析：将域名解析为IP地址。
TCP连接：与目标服务器建立TCP连接。
TLS握手：进行TLS握手，协商加密密钥。
请求准备：编码HTTP请求头和请求体。
发送请求：将HTTP请求发送到服务器。
接收响应：接收服务器返回的HTTP响应。
解析响应：解码HTTP响应头和响应体。
关闭连接：关闭TCP连接（可选）。

需要注意的是，上述任何一个步骤都可能失败，因此需要进行错误处理和重试。

优化HTTP请求发送的思路

为了提高发送效率，我们需要尽可能地减少每个请求的耗时。通过分析单个HTTP请求的步骤，我们可以找到优化的方向：

请求解析：在我的用例中，发送的HTTP请求并非标准的RFC请求，而是手工构造的，因此可以跳过请求解析的步骤。
DNS解析：可以预先将所有目标主机的域名解析为IP地址，避免在发送请求时进行DNS解析。
连接复用：对于同一个目标主机，可以复用已经建立的TCP连接，减少连接建立的开销。
并发发送：可以使用多线程或协程并发发送请求，提高CPU利用率。

HTTP请求发送器的设计与实现

基于上述优化思路，我设计了一个多级流水线式的HTTP请求发送器，主要包括三个模块：

请求生成模块：负责生成待发送的HTTP请求数据。
发送模块：负责将HTTP请求数据发送到目标服务器。
响应处理模块：负责接收和处理服务器返回的HTTP响应数据。

为了提高内存利用率和减少对象创建的开销，我使用了对象池来管理HTTP连接和请求/响应对象。同时，为了避免单个目标服务器过载，我对每个目标服务器的请求频率进行了限制。

关键代码实现

1. 使用fasthttp库

为了追求极致的性能，我选择了fasthttp库来替代Go语言标准库中的net/http。fasthttp是一个轻量级、高性能的HTTP库，经过 benchmark 测试，其速度比net/http快了将近10倍。

2. 自定义Dial函数

为了跳过DNS解析步骤，我自定义了一个Dial函数，直接使用预先解析好的IP地址建立TCP连接。

req.SetDial(func(addr string) (net.Conn, error) {
    return customDialer.Dial(resolved_ip)
})

3. 禁用请求标准化

由于我发送的是手工构造的非RFC标准HTTP请求，因此可以禁用fasthttp库中的请求标准化功能，进一步提高性能。

req := rawfasthttp.AcquireRequest()
resp := rawfasthttp.AcquireResponse()

rawBytes := []byte("GET / HTTP/1.1\r\nHost: example.com\r\n\r\n")

req.SetRequestRaw(rawBytes)

err := client.Do(req, resp)

使用Kubernetes进行横向扩展

为了进一步提高发送效率，我将HTTP请求发送器部署到了DigitalOcean的Kubernetes集群中。DigitalOcean提供了每月2TB的免费流量，足以满足我的测试需求。

为了实现自动化的弹性伸缩，我编写了一个简单的JavaScript脚本，根据任务队列的长度动态调整Kubernetes Deployment的副本数量。

挑战与解决方案

在测试过程中，我遇到了一些挑战，例如：

DDoS攻击风险：由于发送的请求量非常大，我自己的网络一度被DDoS攻击，导致Kubernetes节点无法正常工作。为了解决这个问题，我降低了每个Pod的请求频率，并对目标服务器进行了分片。
IP封禁：一些安全防护软件会对异常流量进行封禁，为了避免被封禁，我使用了DigitalOcean提供的动态IP功能，每台Droplet都使用不同的公网IP地址。

测试结果

最终，我成功地构建了一个高效的HTTP请求发送器，并在几个小时内完成了向250万台主机发送5亿次HTTP/1.1请求的任务。

每个Pod的发送速率达到了每秒100-400个请求。
Kubernetes集群最多扩展到了60个Pod。

总结

通过这次实践，我深刻体会到了Go语言在网络编程方面的强大能力，也学习到了很多关于HTTP协议和网络安全的知识。我相信，这些经验将会对我未来的安全研究工作有所帮助。