MongoDB 1000W级数据Insert和Query性能测试

数据库 其他数据库 MongoDB
在1000W的数量级,对MongoDB进行Insert和Query的性能测试,分为添加索引和不添加索引,结果会是如何呢?拭目以待吧!

先看下测试机性能(64bit):

  1. ^_^[root@:~]#grep "model name" /proc/cpuinfo | cut -f2 -d: 
  2.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  3.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  4.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  5.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  6.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  7.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  8.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  9.  Intel(R) Xeon(R) CPU           E5606  @ 2.13GHz 
  10. ^_^[root@:~]#grep MemTotal /proc/meminfo 
  11. MemTotal:      4040580 kB 
  12. ^_^[root@:~]# free -m 
  13.              total       used       free     shared    buffers     cached 
  14. Mem:          3945       3715        230          0         40       2626 
  15. -/+ buffers/cache:       1048       2897 
  16. Swap:         4094          2       4092 
  17. ^_^[root@:~]#getconf LONG_BIT 
  18. 64 
  19. ^_^[root@:~]#more /etc/redhat-release 
  20. Red Hat Enterprise Linux Server release 5.5 (Tikanga) 
  21. ^_^[root@:~]#uname -r 
  22. 2.6.18-194.el5 

测试程序:

  1. #include <iostream> 
  2. #include <mongo/client/dbclient.h> 
  3. using namespace std; 
  4. using namespace mongo; 
  5.  
  6. #define INIT_TIME \ 
  7.         struct timeval time1,time2; \ 
  8.  
  9. #define START_TIME \ 
  10.         gettimeofday(&time1,NULL); \ 
  11.  
  12. #define STOP_TIME \ 
  13.         gettimeofday(&time2,NULL); \ 
  14.  
  15. #define PRINT_TIME \ 
  16.         cout<<"Time:"<<time2.tv_sec-time1.tv_sec<<":"<<time2.tv_usec-time1.tv_usec<<endl; 
  17.  
  18. int main() { 
  19.         srand(time(NULL)); 
  20.         char ar[26+1]; 
  21.         DBClientConnection conn; 
  22.         conn.connect("localhost"); 
  23.         cout<<"MongoDB Connected OK!"<<endl; 
  24.         int count=10000000; 
  25.         INIT_TIME; 
  26.         START_TIME; 
  27. //insert 
  28. #if 1 
  29.         while (count--) { 
  30.                 for (int i=0; i<26; i++) { 
  31.                         ar[i] = rand()%26+97; 
  32.                 } 
  33.                 ar[26]='\0'
  34.                 BSONObj p = BSON("NewsId"<<ar); 
  35.                 conn.insert("test.users",p); 
  36.         } 
  37. #endif 
  38.  
  39.         STOP_TIME; 
  40.         PRINT_TIME; 
  41.         return 0; 

不加索引测试:

......................# MongoDB 不加索引 插入1000W条测试 #...................

  1. ^_^[root@:~/svn/nugget/MongoDB/utest]#./insertData               
  2. MongoDB Connected OK! 
  3. Time:207s:194125μs 

......................# MongoDB 不加索引 1000W条遍历测试 #...................

我们让MongoDB全部遍历一遍:

让测试数据倒序,取倒序后第一条数据:

  1. > db.users.find().sort({'_id':-1}) 
  2. "_id" : ObjectId("4e2cbdf4a1ca039d82214e33"), "NewsId" : "dgvshdhevmjgunvbepgdkzirqk" } 

第一条数据的NewsId为 dgvshdhevmjgunvbepgdkzirqk

测试程序:

  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo<bat.js  
  2. MongoDB shell version: 1.8.2 
  3. connecting to: test 
  4. > var startTime = new Date(); 
  5. >  
  6. > db.users.find({NewsId:"dgvshdhevmjgunvbepgdkzirqk"}); 
  7. "_id" : ObjectId("4e2ccfd2a1ca039d82527b34"), "NewsId" : "dgvshdhevmjgunvbepgdkzirqk" } 
  8. >  
  9. > (new Date().getTime()-startTime.getTime())/1000 
  10. 5.846s 
  11. > bye 

#p#

加索引测试:

  1. > db.users.getIndexes() 
  2.         { 
  3.                 "name" : "_id_"
  4.                 "ns" : "test.users"
  5.                 "key" : { 
  6.                         "_id" : 1 
  7.                 }, 
  8.                 "v" : 0 
  9.         } 
  10. > db.users.ensureIndex({NewsId:1}) 
  11. > db.users.getIndexes()            
  12.         { 
  13.                 "name" : "_id_"
  14.                 "ns" : "test.users"
  15.                 "key" : { 
  16.                         "_id" : 1 
  17.                 }, 
  18.                 "v" : 0 
  19.         }, 
  20.         { 
  21.                 "_id" : ObjectId("4e2cc408572ff09d98851cb7"), 
  22.                 "ns" : "test.users"
  23.                 "key" : { 
  24.                         "NewsId" : 1 
  25.                 }, 
  26.                 "name" : "NewsId_1"
  27.                 "v" : 0 
  28.         } 

......................# MongoDB 加索引 插入1000W条测试 #...................

  1. ^_^[root@:~/svn/nugget/MongoDB/utest]#./insertData  
  2. MongoDB Connected OK! 
  3. Time:2019s:19419μs 

......................# MongoDB 加索引 1000W条测试遍历测试 #...................

还是一样取最后一条数据,然后看下性能:

  1. ^_^[root@:/usr/local/mongodb/bin]#./mongo <bat.js  
  2. MongoDB shell version: 1.8.2 
  3. connecting to: test 
  4. > var startTime = new Date(); 
  5. >  
  6. > db.users.find({NewsId:"nxuvdqtjrrptoyildolesbkqmd"}); 
  7. "_id" : ObjectId("4e2ccc2ea1ca039d82b9e4b3"), "NewsId" : "nxuvdqtjrrptoyildolesbkqmd" } 
  8. >  
  9. > (new Date().getTime()-startTime.getTime())/1000 
  10. 0.022s 
  11. > bye 

总结下测试数据吧:

没索引

添加 1 千万 记录 Time:207s:194125μs

查询 5.846s

有索引

添加 1 千万 记录 Time:2019s:19419μs

查询 0.022s

原文链接:http://blog.csdn.net/crazyjixiang/article/details/6630624

 

【编辑推荐】

  1. 教你如何利用MySQL学习MongoDB
  2. 说说MongoDB的基础
  3. 如何用Java操作MongoDB
  4. MongoDB基于Java、PHP的一般操作和用户安全设置
  5. 设计实例对比:MySQL vs MongoDB
责任编辑:艾婧 来源: Crazybaby's blog
相关推荐

2022-06-15 11:19:19

MySQL数据库

2011-03-03 10:32:07

Mongodb亿级数据量

2011-07-28 13:24:03

MongoDBAuto-shardi

2011-02-23 11:18:48

MongoDBMySQL性能测试

2019-11-12 14:15:07

Redis内存持久化

2021-07-08 14:59:05

JMHMongodb数据

2013-11-22 10:02:59

Mongodb千万级数据python

2012-06-28 10:18:01

数据库

2011-09-27 10:11:14

MongoDBR

2011-10-18 13:45:22

投影仪评测

2015-11-25 18:22:41

2023-11-03 14:50:14

2020-11-11 10:05:04

数据库分库分表美团面试

2013-06-27 10:34:08

准备性能测试数据

2011-09-16 09:44:44

明基投影仪

2010-04-16 14:26:14

bulk Insert

2024-08-06 08:00:00

SQL Query数据库

2018-06-07 08:48:16

性能测试敏捷开发持续集成

2023-09-13 14:47:34

性能测试开发

2018-04-19 09:10:17

数据分析列式存储
点赞
收藏

51CTO技术栈公众号