随着中数经纬爬虫PK赛在程序员圈子持续曝光,业界对其的期待与日俱增。此次大赛得到20000+程序员的关注与支持,参赛者自发分享爬虫项目经验,对代理池、公众号内容显示样式、验证码、分布式等问题进行深入探讨,给正在做爬虫项目的程序员开拓思路。
决赛在即,我们采访了一些参赛选手,对其作品进行解析,爬取的数据源有猫眼APP、豆瓣、斗图表情包、B站、东方财富股吧、今日头条、京东评论、社区、公众号文章等,节选其中15位优秀工程师发表大赛感言。
1、痕迹 爬虫爱好者
借助中数经纬公司提供的爬虫大赛项目平台,使我更深入的了解了爬虫强大的功能,对于个人学习,工作思维等方面有了显著的提升。
2、李建国 PHP开发工程师
感谢主办方,让我有机会参加这次爬虫大赛,我爬的是我们金华当地比较知名的一个本地社区论坛。我平时工作没怎么接触过爬虫相关方面的知识,通过这次比赛,我学到了很多。给我提升最多的是有关正则表达式方面的知识,因为在我爬页面的时候,要过滤很多无关的信息。正则表达式就发挥了很大的作用。总之通过这次比赛让我受益匪浅,以后如果还有这样的比赛,我一定会积极参加的。
3、薛祥 ETL工程师
通过参加本次中数经纬的爬虫比赛, 看到了参赛者在数据源获取、去噪、分析和展示方面的多样性, 对于爬虫技术的理解, 爬虫工具的使用不尽相同, 本人在其中学到了很多. 参赛者在数据源获取方面, 主要通过html网页、数据接口获取数据. 去噪方面xpath、css、正则表达式、json格式解析选择器种类繁多。在分析方面学到了不同行业的数据分析维度和指标,在展示方面对数据可视化的操作别具一格,通过本次比赛开拓了视野,让我对于数据集成的理解更加深入。
恭祝商祺。
4、mason zhang 软件工程师
参加爬虫大赛拓宽了视野,看见小伙伴们的各种爬虫技巧,受益颇多。要想在海量数据的互联网获取自己想要的数据,***爬虫技术,数据无处不在。
5、老表 大三学生
通过爬虫大赛,我把自己的爬虫项目仔细梳理,从爬虫代码,到数据分析,可视化,使我的项目更加有条理,有目的性,在日后的工作中,会让我更加突出。
6、卢文龙 数据产品经理
我比较关注数据变现及数据价值挖掘,通过这次比赛,我在数据爬取内容如何在个人层面变现进行了一些思考,发现爬取东方财富股吧用于做为投资参考值的尝试下,很多软件也会提供一些类似的参考分析,但里面算法很多不知其所以然,且收费的多,不如自己搞一搞。***在爬虫技术,NLP技术,数据挖掘,理财投资方面都得到了锻炼和提高。
7、杜宽 爬虫爱好者
感谢中数经纬举办的爬虫PK赛,让我重拾了自己的爬虫项目,也认识了很多做爬虫的朋友,经过这次比赛,自己对反爬虫和反反爬虫又有了新的认知,也让自己在这场没有硝烟的战争中更上一层楼。
8、尹强 Python爬虫工程师
参加这个比赛不仅是对工作的总结,也可以很好的和大家一起分享心得体会。爬虫的百分之九十的失败不是被各种防爬,而是自己放弃了成功的希望。成功与失败就因这一点点的耐性而被划为两种截然不同的“人生”结果。世界上最难超越的人是你自己,赢自己一把!
9、吴乐伟 Python爬虫工程师
参加爬虫大赛,于我而言,获奖倒是其次,更重要的在于学习交流,通过这个机会可以了解其他人的爬虫作品。
10、常怀德 Python爬虫工程师
我觉得参加比赛是一种特别有效的学习方式。多参加类似的比赛可以积累技术经验,检验一个阶段的能力提升。
11、南海九哥 C++爬虫工程师
大赛中各大高手的PK让我认识到了自己的不足,山外有山,天外有天,我还需要充实自己。加油!
12、莫莫UP 运维工程师
中数经纬的这次爬虫大赛让我开拓了视野,让我看到了专业领域的更多榜样;给了我希望,让我看到了未来爬虫工程师的方向;给了我鞭策,让我在今后的工作中更加努力。
13、可心 Python爬虫工程师
温室的花朵无法体会大自然的美丽,参加了这次比赛让我看到了爬虫界美丽,同时也认识到了自己的不足,完善自己。完善代码。加油!
14、刘海滨 C++爬虫工程师
学海无涯, 在软件开发的漫漫长路上, 除了进行自我的软件开发学习, 还要在实际的开发项目中进行实践, 参加公开的编程大赛, 才能取人之长, 补己之短。
15、千年老妖 开发工程师
刚接触golang不久,用go试着完成了一套程序用来爬取CSDN的首页,得到的感悟就是编程思想驾驭编程语言,一个好的coder不在意他会多少语言,更在意他具备什么思想。
感谢广大开发者对中数经纬爬虫PK赛的大力支持与关注,小伙伴们在分享项目经验的同时也解决了爬虫中遇到的困惑,技能得到提升。技术在分享与讨论中深化巩固,这也是爬虫PK赛的宗旨。
预知后事如何,请听下回分晓。
阅读原文请点击:http://www.chinadata8.com/reptilian_competition.html