这个想法源自于我看了<Hadoop: The Definitive Guide>的Part I Ch 2中MapReduce的引入和介绍,书中先说了怎么通过原始的办法处理数据,然后引入到如何通过Hadoop来处理,接着简要的介绍其原理. 如果没有Hadoop或者其他类似的工具,我们存储和分析大数据的时候就是,遇到一个问题然后想办法解决,然后不断完善解决方案.比如,刚开始数据很小,还是简单的文本,就写一个脚本用awk处理完全可以,结果数据越来越多,一个机器处理不过来,就开始想用并行来解决,并行又…