【原创】海量数据处理问题（一） ---- 外排，堆排，K查找的应用

这篇博客源自对一个内存无法处理的词频统计问题的思考，最后给出的解决办法是自己想的，可以肯定这不是最好的解法。但是通过和同学的讨论，仍然感觉这是一个有意义及有意思的问题，所以和大家分享与探讨。

如果有误，请大家指正。如果有更好的方法，望不吝赐教。

1、提出问题

实际问题:

当前有10T中文关键词数据，需要统计出词频最高的1000个词。可用的只有1G内存和磁盘。那么如何提取？

大概估算一下这个问题，设中文词汇平均长度2.3，每次汉字用utf-8编码是3B，那么10T数据大概有 10T/7B ~ 1.4 * 2^40 条词汇。

1G内存即便对词汇一 一对应，再加上4B的整形记录词频，那么1G内存可以最多纪录 1G/4B * 2^8 ~ 2^36 条词汇。所以即便最理想的hash（一 一对应）也无法将所有词汇对应到1G内存中。

抽象问题:

假设当前内存只能存放1000个词，但是一共有100w词汇需要处理，问如何返回前100个高频词汇？（只能使用单机内存和磁盘）

下面我们以抽象的问题为基础进行分析。

2、提炼解决办法

这个问题大的方向有两步，1 、 统计词频（重点思考） ； 2 、返回topK。

如果这两步中涉及的数据都能放入内存中，那么最不济 O(N^2) 便可以解决。不过由于内存无法承受，这两步的解决都出现了问题。

2.1  统计词频

2.1.1  压缩数据（不可行）

由上所诉，如果能压缩放入内存便可以解决问题。所以先考虑能否找到一种压缩数据的办法。但是通过上面的分析，即使转换为hash也无法存入内存，所以需要换一种思路。

2.1.2  归并统计（不可行）

既然hash不能把所有数据放入内存，那么至少可以放一部分。再加上利用磁盘的存储，把hash值在一定范围内的词存放到第 i 个文件中。这样每个文件直接互不相交，而且每个文件都能在内存中处理，一个一个文件的进行统计，那么统计词频的问题自然可以解决了。

这个想法看似可行，其实不然。

对于抽象问题所述，100w/1000 = 1000，所以至少需要1000个文件存放互不相交的词。但是这里有两个问题，1 是如何寻找这个hash函数，保证100w个词在hash后能平均分配到1000个文件中。 2 是需要保证这个hash函数不会产生冲突，不然的话会导致不同的词的统计到一起。

因此这个hash函数是比较难找的。（如果大家知道分享下啊）

2.1.3  仍然是归并（可行的解决办法）

上述2中的归并，是需要人为的把词分到不同的桶里。但是hash函数太难设计了。

不过受《数据结构》书中对数值外排序的启发，我想到了类似归并排序的解决办法。

即对于抽象问题所述，首先按内存大小，把100w数据顺序分词1000份，这1000份是均匀大小的桶，上述2.1.2中难以实现的均分桶在这里可以很简单的实现。对于每个桶中的数据，因为每个词在内存中对应了一个2进制数值，可以通过移位比较两两词之间的数值大小。这样，词直接可以进行比较了，因此就可以进行排序了。再利用外排序的方法，就可以构成一个归并的解，因此可以将所有词汇进行词频统计。

时间复杂度为  O(M/N * log(N) + M *log(M/N) ) 。（M是所有数据量，N是每个桶中的数据量）

具体到抽象问题，即  O( 100w/100 * log(1000) (排序) + 100w * log(100w/1000) (归并) ) 。

2.2 返回topK

topK的方法有两种，一是 堆排序。 二是 K查找。

二者对比：

　　　　　　　　　　堆排序  　　　　K查找

　　 时间复杂度      O(logN)             O(N)

空间复杂度       O(K)                 O(N)   （K就是topK的K）

topK结果　　   有序　　　　 　　 无序

2.2.1   堆排序（适合本题）

对于提到的抽象数据，使用堆排序更合适。首先拿出第一个文件中的1000条数据构造一个 top100的堆树。然后剩下的999个文件，每次从每个文件取500条数据放入内存，和top100的堆树重新构造堆。那么需要一遍文件读取就能得到top100的词。所以对于文件读取为主要时间消耗的外排来说，堆排序无疑更合适。

本题时间复杂度  100*log100 + 100w * log100 + 1000 read file time

2.2.2  K查找（不可行）

似乎关于K查找相关文章不多，这里提一下。

K查找类似快排，因为快排的每一趟处理，都会得到枢纽值得位置，如果这个位置正好为所求的K，便可以返回topK的结果。

算法大概思想：一个头指针，一个尾指针。选择某值作为平衡点，调整平衡点两边数值位置（到这里和快排一致）。然后根据平衡点和K值的关系，选择头一半或尾一半进行上述递归的查找（快排是两边都查找）。直到平衡点和K相等退出。可见K值只是划分了两个边界，每一个边界内的数据并不是有序的。

因此K查找的时间复杂度：   N + N/2 + N/4 ... 1 ~ 2N ，为 O(N)

K查找代码如下：

 int Kfind(int array[], int lowPos, int highPos, int K){
     int first = lowPos;
     int last = highPos;
     int key = array[first];
     while(first < last){
         while(first<last && array[last]>=key)
             last--;
         array[first] = array[last];
         while(first<last && array[first]<=key)
             first++;
         array[last] = array[first];
     }
     array[first] = key;
     if(first == K-)
         return first+;
     if(lowPos < first && first > K-)
         return Kfind(array, lowPos, first-, K);
     if(first < highPos && first < K-)
         return Kfind(array, first+, highPos, K);
 }

测试样例及结果：

可见，topK内的数据并不一定有序。

但是对于本题，如果强行在文件中直接进行K查找，那么时间消耗会非常大。因此不适合。

3、扩展

如果本题不限制完成条件，使用hadoop的MapReduce框架很适合解决本问题，词之间没有联系，分治是很好的选择。

当然，即使对于单机环境来说，词频统计也已经不算大数据量了，但是作为一个问题思考还是有意义的。

转载请注明出处，谢谢~  http://www.cnblogs.com/xiaoboCSer/p/4202394.html