众所周知, mongo db的count查询是相当慢的, 但是count的查询又是非常常见的作用.
笔者最近就有一项需要,需要在200万条数据中执行count查询,并且使用MongoTemplate.count()查询,结果查询结果很慢.
那么如何解决这个问题呢? 笔者查询了相关的资料. 采用了以下方案供大家参考.
首先,笔者在mongo shell中执行db.collection.find({}).count()不用1s的时间就出来结果, 因此, 笔者首先想到的是能不能再java mongo中直接执行mongo shell的命令, 很不幸, 笔者使用的是4.4版本的mongodb, 不在支持db.eval()操作. 因此只能选择其他方法
相关资料可以参考这个:
https://stackoverflow.com/questions/16239592/raw-javascript-mongodb-queries-using-db-eval-in-java
https://docs.mongodb.com/manual/reference/method/db.eval/
经过网上查询和官方文档提示, mongodb支持以下的count查询
- db.collection.count()
- db.collection.countDocuments()
- db.collection.estimatedDocumentCount()
这三个方法对比着看,会有更深的认识
方法对比
count
- 采用
metadata来返回数据总量
countDocuments
- 未采用
metadata - 通过
aggregation来实时计算出数量
改语法封装了下面的语句,来返回数量
db.collection.aggregate([
{$match: <query>},
{$group: {_id: null, n: {$sum: 1}}}
])
estimatedDocumentCount
说明
- 该方法返回一个collection中的所有documents的数量
- 该方法封装了count命令
- 该方法采用了
metadata
使用
db.collection.estimatedDocument(<options>)
使用示例
综合上述三个方法的对比. 在计算count的时候, 根据查询条件的不同,可以采用不同的方法
- 如果没有查询条件,即查询总量时,建议采用
estimatedDocumentCount方法 - 如果有查询条件, 只能通过
countDocuments方法, 并且减以在查询条件增加索引.
Java代码片段示例
import org.springframework.data.mongodb.core.query.Query;
import org.springframework.data.mongodb.core.MongoTemplate;
long count = 0;
if (query.getQueryObject().isEmpty()) {
LOGGER.info("[Mongo] ==> 开始查询总量");
long startTime = System.currentTimeMillis();
count = mongoTemplate.getCollection(tableName).estimatedDocumentCount();
LOGGER.info("[Mongo] ==> 结束查询总量,耗时:{}ms", System.currentTimeMillis() - startTime);
} else {
LOGGER.info("[Mongo] ==> 开始条件查询总量");
long startTime = System.currentTimeMillis();
count = mongoTemplate.count(query, tableName);
LOGGER.info("[Mongo] ==> 结束条件查询总量,耗时:{}ms", System.currentTimeMillis() - startTime);
}
