大数据量情况下求top N的问题

上周五的时候去参加了一个面试，被问到了这个问题。问题描述如下：

假如存在一个很大的文件，文件中的每一行是一个字符串。请问在内存有限的情况下（内存无法加载这个文件中的所有内容），如何计算出出现频率最高的前100名字符串？

由于面试之前在学习hbase时了解了一下布隆过滤器（对bitmap的扩展使用），所以当时立刻想到用bitmap去解决这个问题，但是考虑到bitmap无法对出现的单词计数的。所以我当时的回答是：

首先实例化一个数组，然后读取文件对每一行的字符串进行hash得到一个数值，然后将数组下标为这个数值的值+1，最后再将这个数组排序并取出前100名。

后面想想自己的回答简直是驴头不对马嘴，我的答案并没有解决面试官的问题，可想而知我的面试注定失败。事后自己总结了一下，为什么面试的时候会作出这样的回答？

1. 面试的时候没有仔细想清楚面试官的问题，就匆忙回答。
2. 平时研究问题的时候，只徒留表面没有深入，或者是自以为自己弄清楚了就把它抛之脑后了。没有实际编码操作并对其进行总结和记录。
3. 懒！在听完面试官的问题后懒的思考，没有理清思路，胡乱回答自己学习过的算法，而且是没有深入理解并且没有实际应用过的算法。

知错能改才是最重要的，希望自己在未来的工作学习中能够踏踏实实，静下心来好好研究技术，多总结多记录。

接下来总结一下正确的答案，其实是在我看了编程珠玑的第一张后想到的答案。如果早些看了这本书那么这次面试可能就不会这么糟糕了。在看了第一张以后，我对大数据的处理方法的总结是四个字：分而治之。所谓分而治之就是把大文件拆分成多个内存能够一次性容纳的小文件，然后依次处理所有小文件，最后对小文件归并处理。具体到这个面试题：

1. 假设分成n个小文件。读取大文件，对每一行hash得到hash值h，把这行写入第h/n个文件中。这样做是为了保证相同的字符串一定被分到相同的文件中。如果小文件依然比内存大，那么我们再对其进行相同的操作（把小文件分成更小的文件，直到可以被内存一次性装载为止）。
2. 对所有小文件进行统计计算（如利用HashMap）并排序，然后将结果写入新的文件。文件内容是：字符串，出现次数。
3. 读取所有新生成的文件中的前几条记录并排序，最后输出top N。

感觉这个很像Hadoop里的map reduce。把大文件分成很多小文件分配给map task，再由reduce task统计map的输出，最后得出所需结果。