随着网站越来越多元化,内容或资讯都会不定期更新,但每个新增的页面或连接,都有可能带来新的漏洞。因此,网站的安全性检测不论在上线前或是每次更新时,都必须进行网站漏洞检测工作。
然而对大型网站来说,手工网站检测,对使用者是极大的负担,尤其是目前网站动辄数百至数千页,以人工方式对每一页进行彻底的安全检测近乎不可能,此时,方便、自动化的Web检测工具就粉墨登场了。
但是,随着网站规模日益扩大,细致的遍历扫描与web扫描器的性能成为了先天性的矛盾:网站内容越多,扫描时间越长,对扫描器的性能也要求越高。
那么若想提升Web扫描器的性能同时又不放弃精度,原始做法主要有两个:一是无限制的升级扫描器的硬件,但这种做法既不经济也不可能;二是实现Web扫描的分布式部署,但子节点的负载分布不均又成了问题。
既然原始做法已经不好用了,谁可以担此大任呢?太一星晨产品总监于振波指出,要实现高性能Web扫描,依靠负载均衡技术与分布式扫描部署相结合,这已成为了安全圈里的主流趋势。
为此,太一星晨技术工程师们还以一套经典的5W1H分析法,解析了负载均衡技术如何在兼顾资源最优化的同时扭转乾坤的。
Who
在Web安全战役中,关键主角自然是Web扫描器与负载均衡!
When
Web扫描器开始扫描工作时,最核心的工作模块是web扫描引擎,它作为一个支持多任务的服务运行,与产品端通过网络通信进行互动。产品通过向web扫描引擎发送一条消息来创建、暂停、停止或者续扫一个任务,而web扫描引擎则通过消息告诉外界自己的状态,已经爬取得链接和已经检测到的漏洞。
当需要对多个大规模的web网站定时扫描时,一台独立的Web 扫描器负载太多容易导致分配不均,无法满足扫描性能要求,外来威胁容易趁虚而入,此时就需要引入负载均衡技术,实现多站点任务的批量扫描。
What
在这一场战役中,首先要清楚这场战争目的是什么:负载均衡技术帮助Web扫描器在对站点进行漏洞检测和评估时,达到最大化资源的使用率,促使Web扫描器在短时间内完成扫描任务,从而保障Web站点的安全。
Why
分布式部署:这是最常用也是最靠谱的解决办法,利用多台Web扫描器同时分担扫描任务。但是在实际部署环境中,子节点的扫描器性能差异,却往往导致父节点管理的多个子节点在某一时刻经常负载不均衡。
此时通过专业的负载均衡产品可以替代父节点,解决这个弊端。
* ADC可依赖多种健康检查方法以及负载分担算法,帮助父节点有效监控子节点的工作状态,并随时调控。
* 对于子节点来说,不同型号乃至不同品牌的Web扫描器都可以共同使用,最大的节约了以往资源。
Where
Web扫描器的分布式部署方案中,父节点统筹管理子节点,并将多个扫描任务分配至各子节点执行,并收集子节点进行状态和任务扫描报告等。
在父节点和子节点之间加入负载均衡设备,一旦某子节点出现故障或者超出负荷,父节点可以绕过故障子节点,不再给其分配任务,利用其它正常子节点继续执行任务。
How
前面的5W把前因后果全弄清楚后,下面就可以让负载均衡发挥它的作用了!
主要步骤如下:
1.任务获取:收集产品端分配的各个扫描任务的相关信息(扫描策略、执行时间等)。
2. 引擎状态反馈:收集和维护各扫描引擎节点的资源使用情况(CPU、内存及任务进度等)。
3. 任务调度:根据各扫描引擎节点的负载情况,计算各节点的权重,将产品端分配的扫描任务划分成不同的子任务,按照权重分配给不同的节点。
4. 任务信息反馈:回收各扫描引擎执行扫描任务的结果,汇总后转交至产品端。
毫无疑问,在复杂的攻击形态以及层出不穷的新安全威胁面前,负载均衡技术有效地配合Web扫描器的分布式部署,解决了在大规模web站点下扫描器无法独立完成的问题,真正实现了“急速扫描、立体防御”!