我们生在最好的时代
也生在最浮躁的时代
每天面对忙碌的人群
面对大量信息
辨不清真假的表面现象
错综复杂的你的我的他的话语
然而
怕什么?
人生苦短，我用python
世间太乱，我选爬虫
1. 爬虫实用工具篇
用Python等语言写爬虫已然成为一种时尚。但是今天，我们并不谈如何写爬虫，而是说说不要写代码就能写出来的爬虫。
不会编程也能写爬虫?可视化爬虫工具能给我们带来什么
世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总。
市面上常见的开源爬虫对比与小型采访
2. 爬虫科普篇
遵守Robots协议的爬虫才是好爬虫，但是并不是每个爬虫都会主动遵守Robots协议。
什么样的爬虫才是好爬虫：Robots协议探究
你有没有想过，整个互联网的流量中，真人占比有多少?
恶意爬虫这样窥探、爬取、威胁你的网站
世间没有无缘无故的爱与恨。我有特价票，你有故事吗?
航空公司与爬虫的战争：特价票的真相与内幕
身为互联网使用者，你的每一次点击，每一个打开，每一个保存与分享都不仅仅只是点击、打开、保存、分享，它们都将汇集成为数据，成为你互联网畅游的路径。
爬虫VS反爬虫的蝴蝶效应
3. 入门实战操作篇
在这个言必称“大数据”“人工智能”的时代，数据分析与挖掘逐渐成为互联网从业者必备的技能。本文介绍了利用轻量级爬虫框架 scrapy 来进行数据采集的基本方法。
人人都会数据采集- Scrapy 爬虫框架入门
爬虫从妹子图抓起练手最好，毕竟动力大嘛。本着有人身体就比较好的套路，特意分享下用点简单的技术去获取资源。
手把手教你用Python爬虫煎蛋妹纸海量图片
为你解答：开发的爬虫项目有通用性吗?有没有可能花费较小的代价完成一个新的爬虫需求?等问题
高级架构师实战：如何用最小的代价完成爬虫需求
4. 反爬虫方案
本文将描述一种尽量简单的反爬虫方案，可以在十几分钟内解决部分简单的爬虫问题，缓解恶意攻击或者是系统超负荷运行的状况。
十分钟解决爬虫问题!超轻量级反爬虫方案
【本文是51CTO专栏机构“岂安科技”的原创文章，转载请通过微信公众号(bigsec)联系原作者】
