鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

MongoDB

333内容

关注

话题涵盖MongoDB相关研究热点、技术难点与应用场景。

文章博文课程

共 64 条

技术瓶颈？如何解决MongoDB超大块数据问题？

MongoDB数据库实战系列，打造精品专栏。

2023-02-08 21:12:39

均衡器服务器数据

自从学习了MongoDB高可用，慢慢的喜欢上了它，之前确实冷落了

MongoDB数据库实战系列，打造精品专栏。

2023-01-27 11:35:22

数据服务器副本集

linux安装mongodb 并且远程连接

一、引言MongoDB 是一个由 C++ 语言编写的基于分布式文件存储的数据库，MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。常用用于物流场景-地理位置信息存储、社交场景-储存储用户信息、物联网场景-监控数据、日志记录等，MongoDB在这些场景的应用比其他数据库有这巨大优势。二、下载MongoDB1、检查CentOS是否已安

2022-11-07 09:22:21

mongodb linux 数据库

详解MongoDB索引优化

!image.png(https://s2.51cto.com/images/202210/853b6a0597493482c1c124cd1f0d322dac7657.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFu

2022-10-10 15:51:59

mongodb 数据库索引

MongoDB数据库增删改查基本使用

MongoDB数据库增删改查基本使用@TOC1.CRUD介绍CRUD操作是create（创建）、read（读取）、update（更新）和delete（删除）MongoDB不支持常规的SQL的命令，但是自身有丰富的查询语言MongoDB在插入一条数据后，会自动增加一个_id自动，作为主键，如果插入的文档省略了id字段，则会自动生产一个Object_id字段MongoDB默认有4个数据库：test：

2022-08-05 15:14:16

数据 2d 表名

mongodb安全集群搭建

mongo安全集群

2022-07-19 16:08:36

mongodb 数据优先级

MongoDB认证与授权

MongoDB认证与授权目录toc要想了解MongoDB的权限必须先了解如下一些关键字：user：用户，用于提供客户端连接MongoDB的认证账户；role：角色，数据权限的集合，创建用户的时候必须要指定对应的角色，否则用户无法操作数据库；resource：资源，包括database或collection也可以是database和collection的组合；如{db:<db,collection:

2021-10-09 16:19:18

mongo 权限认

Mongodb副本集管理

Mongodb复制集的日常管理，添加移除节点，更改同步源，添加延迟备份

2021-08-27 17:32:52

mongodb复制集添 mongodb复制集移 mongodb复制集添

MongoDB副本集oplog设置过小问题

为了模拟这个故障，我们把副本集所有节点oplog都调到1GB，然后把一个副本开启延迟复制。查看oplog大小handong1:PRIMARY>db.getReplicationInfo(){"logSizeMB":1000,"usedMB":1.41,"timeDiff":62833,"timeDiffHours":17.45,"tFirst"

2021-04-30 14:22:02

MongoDB集群分片管理之数据库分片

分片整体信息mongos>sh.status()---ShardingStatus---shardingversion:{"_id":1,"minCompatibleVersion":5,"currentVersion":6,"clusterId":ObjectId("60545017224c766911a9c440")}shards:{"_id":"hdshard1","host":"hd

2021-04-16 11:44:21

MongoDB日常运维操作命令小结

总所周知，MongoDB是一个NoSQL非数据库系统，即一个数据库可以包含多个集合（Collection），每个集合对应于关系数据库中的表；而每个集合中可以存储一组由列标识的记录，列是可以自由定义的，非常灵活，由一组列标识的实体的集合对应于关系数据库表中的行。下面通过熟悉MongoDB的基本管理命令，来了解MongoDB提供的DBMS的基本功能和行为。0）MongoDB的安装[root@cent

2021-04-12 00:12:03

【DB宝41】监控利器PMM的使用--监控MySQL、PG、MongoDB、ProxySQL等

目录一、PMM简介二、安装使用三、监控MySQL数据库MySQL慢查询分析四、监控PG数据库五、监控MongoDB数据库六、监控ProxySQL中间件一、PMM简介之前发布过一篇Prometheus+Grafana的文章，连接为：【DB宝36】使用Docker分分钟搭建漂亮的prometheus+grafana监控，今天我们来介绍一下另一个监控工具：PMM。PMM（Percona Monitori

2021-04-07 17:16:53

MySQL MongoDB ProxySQL

百万级高并发mongodb集群性能数十倍提升优化实践(上篇)-19年mongodb中文社区年度一等奖

线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。经过一些列性能优化，该集群性能得到了数十倍的性能提升，效果明显，本文是上篇，下篇更精彩。

2020-10-06 10:57:17

mongodb 性能优化 wiredtiger存

记一次mongodb核心集群雪崩故障分析

某核心JAVA长连接服务使用mongodb作为主要存储，客户端数百台机器连接同一mongodb集群，短期内出现多次性能抖动问题，此外，还出现一次“雪崩”故障，同时流量瞬间跌零，无法自动恢复。本文分析这两次故障的根本原因，包括客户端配置使用不合理、mongodb内核链接认证不合理、代理配置不全等一系列问题，最终经过多方努力确定问题根源。

2020-10-04 12:51:05

mongodb nosql 分布式

一条命令搞垮MongoDB实例

一条命令搞垮MongoDB实例

2018-05-07 09:00:01

MongoDB rs.remove crash

3分钟掌握MongoDB中的regex几种用法

一篇文章掌握MongoDB regex的基本用法

2018-02-09 16:15:05

mongodb regex 详解

3分钟看完MongoDB3.6新特性

3分钟看完MongoDB3.6新特性

2017-12-05 09:46:44

MongoDB 新特性

3分钟完成MongoDB2.6升级3.0

3分钟完成MongoDB2.6升级3.0前言Part1:写在最前自从3.0版本起，MongoDB支持了WT存储引擎，这个引擎相对老的MMAPv1存储引擎来讲，具有更高的压缩比，且支持文档级并发控制。也正因为WT的优良特性，在MongoDB3.2版本起，WT存储引擎作为了默认存储引擎。本文将简述2.6升级3.0的过程和注意事项实战Part1:建议和清单限制要升级到3.0版本，首先现有集群必须是2.6

2017-11-02 16:30:55

升级 2.6 mongodb

MongoDB Hot Backup 测试及痛点

Percona MongoDB Hot Backup 测试及痛点前言Part1:写在最前Percona MongoDB 支持Hot Backup，解决了MongoDB官方版本只能使用mongodump的情况。mongodump在小库中还好，量上来后，备份恢复都是痛苦的。本文就MongoDB hot backup 备份中的一个bug进行复现和解决。实战Part1:限制在Percona MongoDB

2017-07-18 14:48:32

boost filesystem mongodb

MongoDB误删表恢复

一、场景描述公司某工程师执行db.giveget_card.drop()，误将线上表删除。幸好每天都有做备份，这个时候就体现了备份的重要性了，哈哈哈。。。二、模拟故障过程备份数据大小：rs_test01:PRIMARY>useycsb switchedto&nb

2017-06-05 20:55:31

mongodb oplog mongorestor

Linux下Mongodb安装和启动配置

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。它的特点是高性能、易部署、易使用，存储数据

2017-04-14 10:42:31

单机版MongoDB的zabbix监控

最近公司新上了几个mongodb的项目（单机版MongoDB)，需要坐下监控。之前有一个监控模板，但是效果不好。于是重新去google了一把，有了如下记录。单机版的参考https://github.com/oscm/zabbix/tree/master/mongodb实验环境：CentOS6.8 X86_64Percona-server-mongodb-3.2.9步骤：1、将mongo

2017-04-07 00:21:56

DB zabbix Mongo

MongoDB慢日志查询

MongoDB system.profile前言Part1:写在最前说到MongoDB的慢日志分析，就不得不提到profile分析器，profile分析器将记录的慢日志写到system.profile集合下，这个集合是一个固定集合。我们可以通过对这个集合的查询，来了解当前的慢日志，进而对数据库进行优化。Part2:整体环境MongoDB3

2017-03-23 18:48:37

mongodb 慢查询

MongoDB unique index

MongoDB unique index实战Part1:写在最前MongoDB的 unique index索引这里有个注意事项，主要体现在对NULL值的处理上，本文加以复现。整体环境：MongoDB3.2.5Part2:集合内容PRIMARY>db.helei.find() {"_id":ObjectId(&qu

2017-03-03 11:06:17

index unique mongodb

MySQL-MongoDB开源监控利器之PMM

最近要对数据库的监控体系进行改进，发现Percona 公司的一款开源的监控工具Percona Monitoring and Management(PMM) 对于MySQL的监控指标各项值比较全面准确，现在公司内部的开发测试环境进行了部署体验。主要的架构图如下：源于官方可以看到主要是由客户端的代理程序node_exp

2017-03-01 11:39:55

MySQL PMM Docker

Linux平台安装Mongodb

Linux平台安装MongoDB方法一：MongoDB提供了linux平台上32位和64位的安装包，你可以在官网下载安装包。下载地址：http://www.mongodb.org/downloads，选择相应平台版本即可。下载完安装包，并解压tgz（以下演示的是 64 位 Linux上的安装）。curl-Ohttps://fastdl.mongod

2017-02-10 10:20:21

安装 linux mongodb

MongoDB Secondary 延时高（同步锁）案例分析

遇到问题：晚10点，DBA在数据库建立了某collection的索引。在之后的几分钟，恰巧有同事访问某应用，验证该应用的账号需从数据库某表查询账号密码。导致了无法查询，同事无法登录上应用。问题便反馈到了运维部。背景介绍：Mongodb版本 3.0.2建索引和collection和账号查询collecti

2016-11-03 15:27:58

mongodb 同步锁读写锁

一个cp命令引发的mongodb大量慢查询

遇到问题：凌晨收到报警，某mongodb服务器cpu load超过8。由于没有影响到业务，第二天一早开始查原因。查原因：1. 先了解该服务器上的应用有哪些该db服务器主要应用只有mongodb。于是开始查询mongodb日志：通过凌晨的日志mongodb.log查看，有大量的慢查询，但实际上这些表都非常小，只有几百行数据，而且表还有索引，却仅仅一个查询花了60~80s，

2016-11-02 11:27:09

性能 mongodb 慢查询

30分钟完成MongoDB复制集环境搭建

环境介绍：192.168.1.250 主 port=27408192.168.1.250 仲裁 port=27409192.168.1.251 备 port=27408[root@HE4 ~]# tar xvf mongodb-linux-x86_64-2.6.10.tgz[root@HE4 ~]# mkdir -p /export/mongodb[root@HE4 ~]#

2016-09-18 07:58:07

mongodb 复制集

Mongodb被动(passive)节点配置

将一个mongodb的普通数据节点修改为passive节点，也就是能同步数据、投票，但是不能成为primary节点。除了仲裁节点，其他每个节点都有个代表优先权priority的值，我们可以通过设置优先权来决定谁成为primary的权重最大。 MongoDB replica sets中通过设置priority的值来决定优先权的大小，这个值的范围是0--100，

2016-08-19 10:33:03

mongodb 被动集群

CentOS6上mongodb连接数无法突破1000的解决办法

问题描述：生产环境发现CPU满负荷运行，MongoDB的连接数始终突破不了1000。解决方案：1、查看mongodb的日志，报下面的错误：WedNov2115:26:09[initandlisten]pthread_createfailed:errno:11Resourcetemporari

2015-12-15 16:25:33

ulimit 最大连接数 nproc

MariaDB 10.0.X中，动态列支持 JSON 格式来获取数据。

MariaDB 10.0.X中，动态列（Dynamic Columns），可以支持 JSON 格式来获取数据。为了兼容传统SQL语法，MariaDB 10和MySQL5.7支持原生JSON格式，即关系型数据库和文档型NoSQL数据库集于一身。使用说明：###表结构createtableassets( item_namevar

2015-09-12 22:51:46

json mongodb 动态列

Python[10] mongodb模块

今天和大家分享一个python入库mongodb的脚本。。。涉及到python和mongodb，那么安装相应的模块四必不可少的，最简单的安装方法，或者非pip不可了。#pipinstallpymongo==3.0.4顺便也记录下源码安装的方式#wgethttps://pypi.python.org/packages/source/p/py

2015-09-06 23:47:22

mongdb备份恢复

一、物理备份（拷贝文件）#!/bin/sh DATE=`date+%Y%m%d` DEL_DATE=$(date-d'-30days'"+%Y%m%d") HOST=10.10.17.27 PORT=27000 USER=admin PASSWORD=123456 DATA_DIR="/data/mongodb/navy_db/db" B

2015-08-20 09:21:00

mongdb备份恢复

使用Logstash收集MongoDB日志并通过Zabbix报警

一应用场景描述在有些情况下，仅仅通过Zabbix去监控MongoDB的端口和各种状态还不够，MongoDB的日志监控也是很重要的。例如Mongos连接后端的Shard报SocketException错误等。二使用Logstash分析MongoDB日志要记录慢查询首先需要开启慢查询记录功能usejd05; db.setProfilingLevel(1,50) {&nbs

2015-04-23 10:22:17

zabbix mongodb logstash

MongoDB 日志切换（Rotate Log Files）实战

MongoDB 日志切换（Rotate Log Files）实战1. 在mongo shell下，执行logRotate命令： useadmin db.runCommand({logRotate:1})需要在mongos，mongod，config server运行。该方式的变种：a) 在unix s

2015-03-15 22:20:56

Rotate mongodb 日志切换

MongoDB 使用副本集备份添加新的辅助副本成员

问题描述：在生产环境中，当辅助副本成员的读压力很大时，可通过添加新的辅助副本成员来缓解压力。为了能实现主副本成员不停机，并减轻主副本成员的压力，可在辅助副本成员上mongodump备份数据；为了实现新的辅助副本成员的快速恢复，可直接通过以NFS方式挂载辅助副本成员到做备份操作的辅助副本成员上；为了保证数据的一致性，在mongodump数据的时候使用—oplog参数，mongoresto

2015-02-13 17:17:06

mongodb 副本集 replset

Scrapy 爬虫实例抓取豆瓣小组信息并保存到mongodb中

这个框架关注了很久，但是直到最近空了才仔细的看了下这里我用的是scrapy0.24版本先来个成品好感受这个框架带来的便捷性，等这段时间慢慢整理下思绪再把最近学到的关于此框架的知识一一更新到博客来。最近想学git 于是把代码放到 git-osc上了: https://git.oschina.net/1992mrwang/doubangroupspider先说明下这个玩具爬虫的目的能够将种子URL页

2014-11-28 00:03:00

zabbix根据主机和端口列表自动发现监控远程MongoDB实例

在有些情况下，只能使用远程的MongoDB实例而不能登录到MongoDB实例所在的服务器上，这时可以在一台服务器上维护一个远程MongoDB实例的主机和端口列表，然后通过zabbix的低级发现功能去根据主机和端口自动添加相应的监控。MongoDB主机和端口发现脚步mongodb_discovery.py主机和端口列表文件mongodb_servers.txt，文件中存放每个实例的主机，端口信息10

2014-10-20 17:15:05

MongoDB的数据复制分片

个人博客地址：https://www.aolens.cn/?p=683 一：MongoDB的简介： MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。而且可以很容易的和JSON类的数据结合，他不支持事务，但支持自动分片功能，这对大数据的分布式存储有着十分重要

2014-10-13 00:27:11

复制分片 mongodb

Zabbix报警执行远程命令

日常Zabbix报警案例中，大多都是报警发送邮件，场景里很少有需要报警后执行一个命令(启动服务、清空磁盘空间、关停服务器)；而今天就给大家讲讲最近需要做的事：报警后执行远程命令首先讲讲需求吧，遥远的一天，小伙伴们用上了mongodb，而且需要大力使用，日后一些数据存储在mongodb；从生产环境迁移数

2014-07-22 12:30:29

报警 Zabbix MongoDB

公司的实战Replica Sets+Sharding方案

公司的实战Replica Sets+Sharding方案公司mongo集群分片实战准备九台服务器，分片1： 172.16.0.124:11731 主

2014-07-21 12:02:50

mongodb 分片集群

监控开发之用munin来自定义插件监控redis和mongodb

求监控组的大哥大妹子们干点事，真不容易！要问他们是谁？他们是神。轻易别找他们，因为找了也是白找。上次因为python和redis长时间brpop的时候，会有线程休眠挂起的情况，所有通知报警平台被下线了。这次算是完美解决了。再把他给上线。这两公司的告警已经开始往我这边的接口开始仍了。这边正在改zabbix cmdb的控制，所以暂时不能登录。等搞好了后，让他们搞下re

2014-06-13 17:46:21

munin munin 插件 munin 自定义

mongodb numa问题

mongodb numa问题

2014-05-16 15:14:56

放弃redis使用mongodb做任务队列支持增删改管理

使用mongodb做任务队列管理支持增删改，我是喜欢用redis的list做队列的，但是这边经常堆积任务，需要查看并删除清空队列，有可能会根据一些content的字段来进行删除，有可能是会针对发件人，或者是时间段来删除。这样redis真的不太适合了，因为redis的队列只能是一个值，当时咱们也可以只是存一个任务id，然后放到redis hash来做，处理的时候，无逻辑，但是查询修改

2014-04-30 11:26:32

pymongo python mong mongodb 队列

mongodb拆库分表脚本

脚本功能： 1. 将指定的报告文件按照指定的字段、切库切表策略切分 2. 将切分后的文件并发导入到对应的Mongodb中 3. 生成日志文件和done标识文件使用手册： -h 打印帮助信息,并退出"; &nb

2014-04-03 19:19:58

mongodb拆库分表

MongoDB搭建Replica Set复制集

　　1、在MongoDB的同级安装目录下创建数据目录，目录结构如下： /data/rs0 /data/rs1 /data/rs2　　2、使用命令行启动mongod的三个实例，打开三个命令行窗口，分别输入命令如下：mongod --port

2014-03-29 20:02:46

主从复制 Nosql MongoDB

MongoVUE下实现MongoDB的Group分组查询

　　我们知道，MongoDB是一种非关系型数据库，所以它的查询方式与标准的结构化查询语言SQL有很大的不同。但无论它是怎么复杂的一种结构，当它经过开发者的双手后，它只能变成客户想要的结构。今天要讲述的就是MongoVUE下如何MongoDB的Group分组查询。　　MongoVUE的查询格式如下：db.collection.group({ key, reduce, initial, [keyf,]

2014-03-03 21:44:49

查询 Group MongoDB

MongoDB中索引的一点记录

在MongoDB中使用了一个联合索引，发现了一些问题，记录一下，方便以后查阅！

2014-02-14 18:00:20

MongoDB 聚合管道（Aggregation Pipeline）

管道概念 POSIX多线程的使用方式中，有一种很重要的方式-----流水线（亦称为“管道”）方式，“数据元素”流串行地被一组线程按顺序执行。它的使用架构可参考下图：以面向对象的思想去理解，整个流水线，可以理解为一个数据传输的管道；该管道中的每一个工作线程，可以理解为一个整个流水线的一个工作阶段stage,这些工作线程之间的合作是一环扣一环的。靠输入口越近的工作线程，是时序较早的工作

2013-12-28 09:37:08

多线程流水线 blank

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营