我用Python爬了一个零售网站,分析了一千多种葡萄酒!

新闻 后端
本文作者是一名地地道道的程序员,最大的乐趣就是爬各种网站。通过使用简单的工具(如BeautifulSoup)获得了很多有趣且干净的数据—我也很喜欢Chrome 的Headless模式。

本文作者是一名地地道道的程序员,最大的乐趣就是爬各种网站。特别是在过去的一年里,为了娱乐和利润而爬掉了无数网站。从小众到主流电子商店再到新闻媒体和文学博客,通过使用简单的工具(如BeautifulSoup)获得了很多有趣且干净的数据—我也很喜欢Chrome 的Headless模式。

[[212558]]

本文,作者将分析从Greek wine e-shop商店(一个希腊葡萄酒网站)中获得的数据,来看看哪种葡萄酒最受欢迎。

scraper本身相当简单,可以在GitHub页面(https://github.com/Florents-Tselai/greek-wines-analysis)找到。作者将着重于通过使用标准的Python包对得到的数据(1125个独特的标签)做一些快速的探索性分析。

scraper本身暴露了一个相当简单的API。首先,请求葡萄酒页面的数据,并将数据返回给nicedict,如下所示:

In [2]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

In [3]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

Out[3]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

然后,定义一些matplotlib。

In [4]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

加载由houseofwine_gr.dump模块生成的数据转储,开发者也可以在GitHub页面找到.json,.csv和.xlsx的数据集。

In [5]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

以下是所拥有数据的视图:

In [6]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

Out[6]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

用np.nan替换空的字符串,使它们更容易处理 Pandas。

In [7]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

重命名一些包含特殊字符的列名,以便将它们用作本机DataFrame存储器。

In [8]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我们还将适当的类型分配给列:

In [9]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

让我们将color列值从希腊语翻译成英语。

In [10]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

以下是数据集的颜色直方图。

In [11]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

以下是每种葡萄酒的简单指标分布情况:

In [12]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

如图所示,Average Rating列几乎为正态分布,μ值高达85以上。 Reddit上的Kroutoner解释了为什么会发生这种情况(并纠正了作者以前的错误):

典型的葡萄酒评级是50-100,而不是0-100。所以看起来似乎只有一半分布,实际上是一个几乎完全的分布。此外,90分以上的葡萄酒一般被认为效果更好,销售也更好。这个事实改变了对数据的解释,也就是说大多数葡萄酒被评为好,只有一小部分被评为非常好。

为了进一步推进,来看一下tags 列。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

似乎每个标签列表可以给出有关葡萄酒的各种属性(品种,甜味等)的信息。接下来,作者将这些属性分开,将tags列元素从list 转换为set列表元素,因为这样会使操作更简单。也就是说,不是在一个if x in -else-try-except-IndexError中,我们将使用set操作。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

现在,做一些简单操作来提取关于甜度,温和性等信息,以下信息同样从希腊语翻译到了英语。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

以下是4个属性中每一个属性的直方图:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

在这一点上,开发者可以(几乎)安全地假设所有剩下的标签显示每种葡萄酒的品种信息,所以定义一个新的列来存储它们。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

由于解析错误,列中出现了一些整数,我们将其过滤掉。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我们也可以添加一个布尔变量varietal。酒中的混合物只有一种的称为varietal至少有两种混合物的称作blends。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

对于varietal葡萄酒,我们设定了一个single_variety - 对于其他非varietal的葡萄酒来说,这个数值将是NaN。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

让我们来看看Varietal / Blend的分布是怎样的。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

这是一些指示性的情节。

In [27]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

看起来Chardonnay是最流行的品种,而Vidal和Sangiovese是最昂贵的品种。评分最高的是Malvasia,但所有品种都非常接近。

把注意力转移到blends上,我们做了一些Numpy和Scikit-Learn来产生blends的矩阵。

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

上面的代码简单地从这里得到:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

对此:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

这些是blends中出现频率最高的品种。

In [30]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

这里是一个热图,显示哪些品种通常混合在一起。

In [31]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

In [32]:

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

我用Python爬了一个零售网站,分析了一千多种葡萄酒!

如果你有兴趣,欢迎来Github页面与作者交流。

责任编辑:张燕妮 来源: IT168企业级
相关推荐

2018-12-29 15:09:08

新零售无人超市智慧社区

2018-10-22 13:53:02

无人零售无人货架智能

2022-11-24 17:00:01

模型ARDL开发

2021-07-23 10:25:41

物联网IOT智能零售

2019-03-21 19:19:35

新零售阿里云零售云

2020-11-16 09:02:38

Python开发工具

2024-03-13 08:21:53

冒泡排序动画

2018-03-27 14:56:05

互联网

2022-10-18 10:08:35

物联网智能零售

2018-03-20 09:56:50

新零售

2017-09-30 10:00:41

2017-07-12 10:25:17

Python微信itchat 包

2017-07-17 09:27:09

Python 爬虫编程

2012-07-26 08:58:07

2021-10-29 11:45:26

Python代码Python 3.

2019-07-17 05:33:33

零售物联网IOT

2020-11-04 07:56:19

工具Linux 翻译

2018-10-26 14:55:00

人工智能微软甘来科技

2017-10-16 12:37:55

点赞
收藏

51CTO技术栈公众号