一日一技:Python多线程的事件监控

开发 后端
设想这样一个场景:你创建了10个子线程,每个子线程分别爬一个网站,一开始所有子线程都是阻塞等待。

设想这样一个场景:

你创建了10个子线程,每个子线程分别爬一个网站,一开始所有子线程都是阻塞等待。一旦某个事件发生:例如有人在网页上点了一个按钮,或者某人在命令行输入了一个命令,10个爬虫同时开始工作。

[[391226]]

 

肯定有人会想到用Redis来实现这个开关:所有子线程全部监控Redis中名为start_crawl的字符串,如果这个字符串不存在,或者为0,那么就等待1秒钟,再继续检查。如果这个字符串为1,那么就开始运行。

代码片段可以简写为:

  1. import time 
  2. import redis 
  3.  
  4. client = redis.Redis() 
  5. while client.get('start_crawl') != 1: 
  6.     print('继续等待') 
  7.     time.sleep(1) 

这样做确实可以达到目的,不过每一个子线程都会频繁检查Redis。

实际上,在Python的多线程中,有一个Event模块,天然就是用来实现这个目的的。

Event是一个能在多线程中共用的对象,一开始它包含一个为False的信号标志,一旦在任一一个线程里面把这个标记改为True,那么所有的线程都会看到这个标记变成了True。

我们通过一段代码来说明它的使用方法:

  1. import threading 
  2. import time 
  3.  
  4. class spider(threading.Thread): 
  5.     def __init__(self, n, event): 
  6.         super().__init__() 
  7.         self.n = n 
  8.         self.event = event 
  9.  
  10.     def run(self): 
  11.         print(f'第{self.n}号爬虫已就位!') 
  12.         self.event.wait() 
  13.         print(f'信号标记变为True!!第{self.n}号爬虫开始运行') 
  14.  
  15. eve = threading.Event() 
  16. for num in range(10): 
  17.     crawler = spider(num, eve) 
  18.     crawler.start() 
  19.  
  20. input('按下回车键,启动所有爬虫!') 
  21. eve.set() 
  22. time.sleep(10) 

运行效果如下图所示:

在这段代码中,线程spider在运行以后,会运行到self.event.wait()这一行,然后10个子线程会全部阻塞在这里。而这里的self.event,就是主线程中eve = threading.Event()生成的对象传入进去的。

在主线程里面,当执行了eve.set()后,所有子线程的阻塞会被同时解除,于是子线程就可以继续运行了。

本文转载自微信公众号「未闻Code」,可以通过以下二维码关注。转载本文请联系未闻Code公众号。

 

责任编辑:赵宁宁 来源: 未闻Code
相关推荐

2024-11-13 09:18:09

2021-04-12 21:19:01

PythonMakefile项目

2021-04-27 22:15:02

Selenium浏览器爬虫

2021-09-13 20:38:47

Python链式调用

2021-03-12 21:19:15

Python链式调用

2024-07-30 08:16:18

Python代码工具

2024-07-30 08:11:16

2021-07-27 21:32:57

Python 延迟调用

2021-10-15 21:08:31

PandasExcel对象

2022-06-28 09:31:44

LinuxmacOS系统

2022-03-12 20:38:14

网页Python测试

2023-10-29 09:16:49

代码安全命令

2020-05-19 13:55:38

Python加密密码

2024-02-20 22:13:48

Python项目Java

2021-04-23 21:40:33

Python优先级调度器

2023-10-28 12:14:35

爬虫JavaScriptObject

2021-04-19 23:29:44

MakefilemacOSLinux

2022-05-02 16:27:01

JavaScriptHTMLPython

2021-06-01 21:24:44

多线程代码搜索

2021-10-03 20:08:29

HTTP2Scrapy
点赞
收藏

51CTO技术栈公众号