因为最近和朋友吃饭,大家都到了大三季,都在纠结自己该以哪里作为自己职业发展的起点?也想看看自己的背景,能不能找到靠谱的师哥师姐帮忙,那么师哥师姐都在哪里发光发亮呢?
我当时也是午休的时候想到,知乎有那么多结构化的好的数据,不如抓取之,拿来分析可以看看名校生们都在哪?
我们行业的人都喜欢哪,哪里每年带走一堆人?
然后花半小时写了个多线程爬虫,爬下来几百万数据(其中每个学校的大圆圈占比代表该校学生在调研总数中的占比)
这次抓取的数据量有将近200万,跑了一个下午,然后我把没有公司或者教育学校的筛掉,就还剩25万了~