MongoDB海量数据分页查询优化

MongoDB海量数据分页查询优化

一、背景

大量数据需从Mongo拿出来，一次性拿出来不科学，传统分页效率低下

二、传统方案

就是最常规的方案，假设 我们需要对文章 articles 这个表(集合) 进行分页展示，一般前端会需要传递两个参数：

– 页码(当前是第几页)

– 页大小(每页展示的数据个数)

skip 跳过的条目也会随之变大，而这个操作是通过 cursor 的迭代器来实现的，对于cpu的消耗会比较明显。

而当需要查询的数据达到千万级及以上时，会发现响应时间非常的长，可能会让你几乎无法接受！

或许，假如你的机器性能很差，在数十万、百万数据量时已经会出现瓶颈

三、改良做法

既然传统的分页方案会产生 skip 大量数据的问题，那么能否避免呢？答案是可以的。

改良的做法为：

1. 选取一个唯一有序的关键字段，比如 _id，作为翻页的排序字段；
2. 每次翻页时以当前页的最后一条数据_id值作为起点，将此并入查询条件中。

四、性能测试

以10万条数据为例

总页数	传统翻页耗时（秒）	ID翻页耗时（秒）
100	0.18	0.09
500	3.01	0.33
1000	11.12	0.89
3000	93.58	2.60

可见，当页数越大(数据量越大)时，改良的翻页效果提升越明显！

这种分页方案其实采用的就是时间轴(TImeLine)的模式，实际应用场景也非常的广

而同时除了上述的数据库之外，HBase、ElastiSearch 在Range Query的实现上也支持这种模式。

五、完美分页

时间轴(TimeLine)的模式通常是做成“加载更多”、上下翻页这样的形式，但无法自由的选择某个页码。

那么为了实现页码分页，同时也避免传统方案带来的 skip 性能问题，我们可以采取一种折中的方案。