Python爬虫工具篇 - 必会用的6款Chrome插件

系统 Linux
在日常 PC 端的Python爬虫过程工作中,Chrome 浏览器是我们常用的一款工具。鉴于 Chrome 浏览器的强大,Chrome 网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。

 在日常 PC 端的Python爬虫过程工作中,Chrome 浏览器是我们常用的一款工具。

鉴于 Chrome 浏览器的强大,Chrome 网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。

[[274253]]

今天推荐的 6 款 Chrome 插件,可以大大提升我们的爬虫效率。

EditThisCookie

Python爬虫工具篇 - 必会用的6款Chrome插件

EditThisCookie 是一个 Cookie 管理器,可以很方便的添加,删除,编辑,搜索,锁定和屏蔽 Cookies。

可以将登录后的 Cookies 先保存到本地,借助 cookielib 库,直接爬取登录后的数据。

避免了抓包和模拟登录,帮助我们快速地进行爬虫。

Web Scraper

Python爬虫工具篇 - 必会用的6款Chrome插件

Web Scraper 是一款免费的、适用于任何人,包含没有任何编程基础的爬虫工具。

操作简单,只需要鼠标点击和简单的配置,就能快速的爬取 Web 端的数据。它支持复杂的网站结构,数据支持文本、连接、数据块、下拉加载数据块等各种数据类型。

此外,还能将爬取的数据导出到 CSV 文件中。

Xpath Helper

Python爬虫工具篇 - 必会用的6款Chrome插件

Xpath Helper 是一种结构化网页元素选择器,支持列表和单节点数据获取,

它可以快速地定位网页元素。

对比 Beautiful Soup,由于 Xpath 网页元素查找性能更有优势;Xpath 相比正则表达式编写起来更方便。

编写 Xpath 之后会实时显示匹配的数目和对应的位置,方便我们判断语句是否编写正确。

Toggle JavaScript

Python爬虫工具篇 - 必会用的6款Chrome插件

Toggle JavaScript 插件可以用来检测当前网页哪些元素是通过 AJAX 动态加载的。

使用它可以快速在容许加载 JS 、禁止加载 JS 两种模式中切换。

User-Agent Switcher for Chrome

Python爬虫工具篇 - 必会用的6款Chrome插件

User-Agent Switcher for Chrome 插件可以很方便的修改浏览器的 User-Agent。

可以模拟不同的浏览器、客户端,包含 Android、IOS 去模拟请求。

对于一些特殊网站,切换 User-Agent 可以更方便地进行数据爬取。

JSON-handle

Python爬虫工具篇 - 必会用的6款Chrome插件

JSON-handle 是一款功能强大的 JSON 数据解析 Chrome 插件。

它以简单清晰的树形图样式展现 JSON 文档,并可实时编辑。

针对数据量大的场景,可以做局部选取分析。

责任编辑:武晓燕 来源: 今日头条
相关推荐

2017-07-12 15:32:12

大数据大数据技术Python

2021-07-28 06:51:09

linux

2021-10-10 18:30:23

Chrome插件浏览器

2020-08-18 11:19:49

Chrome插件浏览器

2018-03-28 14:33:33

数据分析师工具Spark

2021-04-02 10:07:19

Chrome浏览器插件

2010-07-05 09:05:19

Chrome 6插件

2009-11-12 09:21:20

Chrome浏览器插件

2022-04-18 19:02:53

chrome扩展浏览器

2015-04-09 14:08:17

jQueryjQuery Tool

2020-02-16 14:53:49

神器插件浏览Github

2021-01-26 00:32:59

chrome插件浏览器

2011-02-18 13:31:22

Web 设计和开发 C

2021-04-14 14:46:13

前端Chrome插件

2013-07-16 15:27:14

TooltipJQuery

2020-02-16 10:45:30

Chrome数据火狐

2012-06-04 15:06:47

Chrome插件应用程序

2009-10-28 10:30:38

安全工具文件加密加密工具

2020-09-27 18:32:53

私有云监控软件工具

2011-08-31 17:47:33

jQuery插件工具
点赞
收藏

51CTO技术栈公众号