Hadoop中的排序和连接

MapReduce的全排序

主要是为了保证分区排序，即第一个分区的最后一个Key值小于第二个分区的第一个Key值

与普通的排序仅仅多一个自定义分区类MyPartitioner见自己所写的实验

（设置一个reducer任务也行，但是并行度不高）

MapReduce的辅助排序

https://www.cnblogs.com/asker009/p/10412970.html

https://blog.csdn.net/eyeofeagle/article/details/82826747

MapReduce表连接操作之Map端join

https://blog.csdn.net/lzm1340458776/article/details/42971075

MapReduce表连接操作之Reduce端join

https://blog.csdn.net/lzm1340458776/article/details/42971485

MapReduce表连接之半连接SemiJoin

https://blog.csdn.net/lzm1340458776/article/details/43017425

PS：hadoop中的MapReduce框架里已经预定义了相关的接口，其中如Mapper类下的方法setup()和cleanup()。

• setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！
• cleanup(),此方法被MapReduce框架仅且执行一次，在执行完毕Map任务后，进行相关变量或资源的释放工作。若是将释放资源工作放入方法map()中，也会导致Mapper任务在解析、处理每一行文本后释放资源，而且在下一行文本解析前还要重复初始化，导致反复重复，程序运行效率不高！

所以，建议资源初始化及释放工作，分别放入方法setup()和cleanup()中进行