MongoDB自动备份全过程实录

数据库 其他数据库 MongoDB
前段时间,个人小程序 因服务器磁盘空间被占满,导致MongoDB挂了。清理了一些无用的数据后,重启MongoDB,竟然无法启动,一番折腾(20分钟)后,总算修复了。这让我意识到:虽然是个人小项目,但也必须定期备份啊,否则数据丢了很尴尬的说。

MongoDB自动备份全过程实录

前段时间,个人小程序 因服务器磁盘空间被占满,导致MongoDB挂了。清理了一些无用的数据后,重启MongoDB,竟然无法启动,一番折腾(20分钟)后,总算修复了。这让我意识到:虽然是个人小项目,但也必须定期备份啊,否则数据丢了很尴尬的说。

碎碎念

我不是MongoDB高手,之所以选择MongoDB,是因为需求不明确——MongoDB很适合不明确需求场景的开发。

个人对Elasticsearch更熟悉,Elasticsearch也很适合不定需求的业务开发;但个人服务器只有1G内存,用Elasticsearch得升级服务器,得花好多钱啊啊啊。

MongoDB备份比较简单,只需用内置的 mongodump 即可,命令格式如下:

  1. mongodump -h {mongodb主机名}:{端口} -u {账号} -p {密码} -d {数据库名称} -o {存储路径} 

然而,笔者为MongoDB设置的密码是带有特殊字符的,例如 @#$\ 之类,直接以如上形式执行命令,会报错!

所以笔者选择不带 -p 参数执行命令,即:

  1. mongodump -h {mongodb主机名}:{端口} -u {账号} -d {数据库名称} -o {存储路径} 

然后,命令提示符会提示输入密码。例如

  1. # mongodump -h 127.0.0.1 -u user -d itmuch -o /tmp/somepathEnter password

至此已实现MongoDB的备份。然而,手动备份还是挺麻烦的,怎么实现备份的自动化呢?

自动备份

正常来说,自动备份是比较简单的——只需将手动备份的命令做成Shell脚本,并设置定时任务即可。然而,笔者的场景,命令是需要交互式输入密码的啊!

怎么才能自动输入密码呢?expect 登场了——一款提供自动交互的工具。

安装expect

  1. yum install -y expect 

编写expect脚本

expect语法非常简单,和Shell几乎一样。笔者的脚本编写如下:

  1. #!/bin/expect 
  2. # spawn是expect的语句,执行命令前需添加该字眼 
  3. set DATE [exec date "+%Y-%m-%d"
  4. set DIR /xxxxx/dbbak-$DATE 
  5. spawn rm -rf $DIR 
  6. spawn echo 'removing...$DIR' 
  7. spawn mongodump -h {host:port}  -u {user} -d {dbname} -o $DIR 
  8. # 交互获取是否返回password:关键字 
  9. expect "password:" 
  10. # 将密码发送过去,注意***的换行不能少,否则得人工输入回车。 
  11. send "密码\r" 
  12. # 停留在远程控制台,没有这行就会直接返回本地控制台,而不等shell执行完 
  13. interact 

注释很全面了,聪明的你阅读肯定没有压力。最终备份出来的文件会存放在 /xxxxx/dbbak-备份日期 目录中。

自动备份

笔者利用Linux定时任务实现自动执行。

  1. crontab -e 

在新窗口中添加如下内容:

  1. 0 0 1 * * ? /usr/bin/expect 上面expect shell的完整路径 

原本以为这样就可以定时执行了,然而却无法正常执行。

百度后,将脚本修改为如下,终于可以正常执行了。

  1. #!/bin/expect 
  2. # spawn是expect的语句,执行命令前需添加该字眼 
  3. set DATE [exec date "+%Y-%m-%d"
  4. set DIR /xxxxx/dbbak-$DATE 
  5. spawn rm -rf $DIR 
  6. spawn echo 'removing...$DIR' 
  7. spawn mongodump -h {host:port}  -u {user} -d {dbname} -o $DIR 
  8. # 交互获取是否返回password:关键字 
  9. expect "password:" 
  10. # 将密码发送过去,注意***的换行不能少,否则得人工输入回车。 
  11. send "密码\r" 
  12.  
  13. set timeout 120 
  14. expect eof 
  15.  
  16. exit 

总结

本文没什么难点,都是一些细节——

  • 因为密码含有特殊字符,所以需要交互式输入密码;
  • 因为要交互式输入密码,所以使用了expect

写出来主要是总结下踩到的坑,另外,expect是一款通用的提供自动交互的工具,用来实现ssh的自动登录、sftp的自动登录、mysql的自动登录等。脚本的套路都和本文展示的结构基本类似。 

责任编辑:庞桂玉 来源: 数据库开发
相关推荐

2011-02-22 10:46:02

Samba配置

2011-04-18 15:56:10

软件测试

2009-12-08 17:56:16

WCF配置

2009-04-13 12:37:18

2011-01-21 17:51:52

2011-09-06 15:38:20

QT安装

2011-08-15 09:19:22

2012-11-06 10:19:18

Java自定义加载Java类

2010-11-19 10:11:49

Oracle物化视图

2010-03-01 17:01:03

Python编程技巧

2009-06-10 16:55:42

cygwin netb安装

2010-06-17 13:10:09

Linux Grub修

2010-03-10 13:24:45

Zend Debugg

2011-03-11 10:39:02

YUM安装LAMP

2010-07-21 14:51:19

telnet-serv

2010-06-12 10:03:20

Ubuntu Grub

2010-06-11 13:15:07

UML软件

2009-12-15 16:51:32

2010-02-23 11:35:38

Python 项目测试

2017-04-25 18:03:11

Caffe深度学习框架
点赞
收藏

51CTO技术栈公众号