一日二技:MongoDB与 Scrapy 的小技巧各一个

运维 数据库运维 MongoDB
一个字段是数组,我想向这个数组里面添加一个元素。并且,如果这个元素之前就已经在这个数组中了,就什么也不做,只要之前不存在时才添加。

[[417329]]

今天我们来讲两个小技巧。

如何更新 MongoDB 中的一个数组

我们知道,如果想给 MongoDB 的一条文档增加一个字段,我们可以使用update_one方法:

  1. import pymongo 
  2.  
  3. handler = pymongo.MongoClient().db.col 
  4. handler.update_one({'name''kingname'}, {'$set': {'新的字段名''新的字段值'}}) 

但如果有一个字段是数组,我想向这个数组里面添加一个元素。并且,如果这个元素之前就已经在这个数组中了,就什么也不做,只要之前不存在时才添加。

这个时候,我们就可以使用$addToSet操作符来实现这个功能。

这个操作符的语法为:

  1. handler.update_one({'name''kingname'}, {'$addToSet': {'字段名''要插入的元素'}}) 

我们来看一个例子。

例如对于如图所示的一条文档:

执行代码:

  1. handler.update_one({'name''kingname'}, {'$addToSet': {'excellent''JavaScript'}}) 

运行以后,数组excellent变为如下图所示:

如果插入一条已经存在的数据,那么这个数组就不会变化。例如:

  1. handler.update_one({'name''kingname'}, {'$addToSet': {'excellent''Python'}}) 

如何使用参数给 Scrapy 爬虫增加属性

在Scrapy 项目中,我们有时候需要在启动爬虫的时候,传入一些参数,从而让一份代码执行不同的逻辑。这个时候,有一个非常方便的方法,就是使用-a参数。它的语法为:

  1. scrapy crawl 爬虫名 -a 参数1 -a 参数2 -a 参数3 

那么,传入的这些参数,在爬虫里面怎么使用呢?其实很简单,你不需要做任何额外的配置,直接在爬虫里面通过self.参数名就可以调用了。例如下面这个爬虫:

大家可以看到,PyCharm 给两个属性self.body_name和self.age_from_cmdline标上了黄色的背景,这是因为PyCharm 找不到这两个属性是在哪里定义的。

但没有关系,我们启动 Scrapy 爬虫的时候,使用-a参数传递进去就好了:

  1. scrapy crawl example -a body_name=kingname -a age_from_cmdline=28 

运行效果如下图所示:

可以看到,这个接口成功接收到了这两个参数,并且把它显示了出来。

本文转载自微信公众号「未闻Code」,可以通过以下二维码关注。转载本文请联系未闻Code公众号。

 

责任编辑:武晓燕 来源: 未闻Code
相关推荐

2020-12-09 05:23:23

Pandas Docker技巧

2023-09-06 00:15:04

Pandas技巧格式

2024-04-08 00:00:02

setup技巧Pypi

2021-10-03 20:08:29

HTTP2Scrapy

2021-06-08 21:36:24

PyCharm爬虫Scrapy

2021-09-26 05:01:55

Scrapy项目爬虫

2021-04-27 22:15:02

Selenium浏览器爬虫

2021-07-08 21:49:13

前端后端Cookies

2021-10-06 23:17:26

Python抽象类接口

2022-06-28 09:31:44

LinuxmacOS系统

2022-03-12 20:38:14

网页Python测试

2021-04-05 14:47:55

Python多线程事件监控

2024-11-13 09:18:09

2021-10-15 21:08:31

PandasExcel对象

2022-12-03 18:21:13

列表Python元素

2021-04-12 21:19:01

PythonMakefile项目

2021-02-14 22:22:18

格式图片 HTTP

2023-10-28 12:14:35

爬虫JavaScriptObject

2021-09-13 20:38:47

Python链式调用

2024-07-30 08:16:18

Python代码工具
点赞
收藏

51CTO技术栈公众号