爬虫和人一样，也分善恶。
像百度、谷歌这样的搜索引擎，不断地爬取网络上的各种信息，分析这些信息，是为了给用户提供需要的信息，同时还能给网站增加流量。用户、网站都很开心，这样的爬虫我们称之为善意爬虫。
但是，有的爬虫却不是这样的，它恨不得每秒访问你的网站，点击几万次，毫不留情的搬走网络数据，一点点残渣都不留下，这种就是恶意爬虫。
著名调查机构Aberdeen Group曾经在2019年做过一次调查，整个互联网中，恶意爬虫产生的流量，占全网流量的24.1%。
这些流量除了消耗资源来，对互联网来说，没有产生任何的价值。
恶意爬虫主要寄生在出行、社交、电商等各大行业，无时无刻不在侵扰从业者。
出行是重灾区
哪一个行业被爬虫袭扰最多，从验证码识别难度就能看出来。出行行业中恶意爬虫占比最高，验证码识别难度首屈一指。
许多用户都有曾经被12306验证码支配过的恐惧。如此高识别难度的验证码，不是为了故意刁难，而是为了对抗恶意爬虫。
公开数据显示，12306最高峰时1天内页面浏览量达813.4亿次，1小时最高点击量59.3亿次，平均每秒164.8万次。这还是加了验证码后的数据。
可想而知，恶意爬虫是多么想爬取12306的数据。
除了铁路购票，航空运输，酒店订购等等，爬虫都不挑食，照单全收。
营销的集中营
爬虫也很喜欢各大社交平台，尤其是微博。
爬虫会不断地获取某个人微博的列表、状态和索引，不断地疯狂关注、点赞和浏览，将一些运营数据蹭蹭蹭地刷上去，营造一种很热闹的假象。
这类骚操作还有很多。
比如某一明星的微博发起了一项活动，他们就能指挥爬虫大军去抢，妥妥地将奖品收入囊中。
爬电商平台
很多人都用过类似比价、返利的APP，这些APP也有爬虫的功劳。
它们会去各大电商平台，爬取价格数据，聚合到APP上供用户购买，再通过广告、竞价等方式获得收入。
爬虫违不违法?
说了这么多，难道我国现行的法律，不能管管吗?
翻一翻《中华人民共和国网络安全法》，我们看不到有任何一条，关于爬取网络公开信息是违法行为的条款。
只要数据是公开的，而且爬取的时候，不会破坏对方的系统，并不会触犯相关的法律。
但是，对于企业来说，这些爬虫的行为，确实是伤害到自己，造成很多的资源浪费，还会使自己在同行竞争中处于不利地位。
所以，一般来说，企业往往会采取很多措施，来提高爬虫的准入门槛，比如图片验证码、滑块验证、封禁IP等等。
除了这些手段，有的企业还会使用Web应用防火墙(WAF)进行防护，识别和管理爬虫，抵御恶意爬虫带来的危害。
企业与爬虫的战争，是一场艰难的、持久的战争，取得完全胜利，是不可能的，但我们相信在对抗这条战线上，会达到一个精妙的平衡状态，爬虫的准入门槛，也会不断提升。
