在对超过百万条记录的集合进行聚合操作。
- DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");
- DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}");
- AggregationOutput output = logCollection.aggregate(match,group);
偶尔会发生Read timed out 异常。
- com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable
- at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)
- at com.mongodb.DB.command(DB.java:261)
- at com.mongodb.DB.command(DB.java:243) ...
- Caused by: java.net.SocketTimeoutException: Read timed out
- at java.net.SocketInputStream.socketRead0(Native Method)
- at java.net.SocketInputStream.read(SocketInputStream.java:152)
通过多次测试，发现执行一次聚合平均时间为5s，超过5s时就会报错！
然后查看MongoDB的配置信息：
- socket-timeout="5000" //5s
socket-timeout的默认配置为0，也就是没有限制。
没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。
通过多次测试发现最长执行时间为6秒，就把超时时间设置成了10000。
- socket-timeout="10000" //10s
注意：MongoDB在与Spring整合时，如果要配置多个MongDB源，只会启用***一个<mongo:options>配置。
应该把参数配置信息存储在properties文件中。
- <mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">
- <mongo:options connections-per-host="200"
- threads-allowed-to-block-for-connection-multiplier="100"
- connect-timeout="1000"
- max-wait-time="1000"
- auto-connect-retry="true"
- socket-keep-alive="true"
- socket-timeout="10000"
- slave-ok="true"
- write-number="1"
- write-timeout="0"
- write-fsync="true" />
- </mongo:mongo>
通过Java API获取配置参数
- DBCollection logCollection = mongoTemplate.getCollection(collName);
- MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions();
- System.out.println(mongoOptions.getSocketTimeout());
***一点： ConnectionTimeOut和SocketTimeOut的区别：
一次完整的请求包括三个阶段：
- 建立连接
- 数据传输
- 断开连接
如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut，就会抛 ConnectionTimeOutException，即服务器连接超时，没有在规定的时间内建立连接。
如果与服务器连接成功，就开始数据传输了。
如果服务器处理数据用时过长，超过了SocketTimeOut，就会抛出SocketTimeOutExceptin，即服务器响应超时，服务器没有在规定的时间内返回给客户端数据。
