Spark Shuffle机制

Spark Shuffle

　　一.HashShuffle

　　　　普通机制：产生磁盘小文件的数量为：M(map task number)*R(reduce task number)

　　　　

　　　　过程：

　　　　　　1.map task处理完数据之后，写到buffer缓冲区，buffer的大小为32k，个数与reduce task个数一致

　　　　　　2. 每个buffer缓存区满32k后会溢写磁盘，每个buffer最终对应一个磁盘小文件

　　　　　　3.reduce task拉取数据

　　　　问题：

　　　　　　1.shuffle write，read 频繁

　　　　　　2.占用内存过多，容易造成gc以及出现OOM

　　　　　　3.磁盘小文件多，会造成频繁I/O，效率降低

　　　　合并机制：产生磁盘小文件的数量为：C(core number)*R(reduce task number)

　　　　

　　　　过程：

　　　　　　1.map task处理完数据之后，写到buffer缓冲区，buffer的大小为32k，个数与reduce task个数一致

　　　　　　2.Executor中每个core中的task共用一份buffer缓冲区

　　　　　　3.每个buffer缓存区满32k后会溢写磁盘，每个buffer最终对应一个磁盘小文件

　　　　　　4.reduce task拉取数据

　　二.SortShuffle

　　　　普通机制：产生磁盘小文件数量：2*M(map task number)

　　　　

　　　　步骤：

　　　　　　1.map task处理完数据之后，首先写入一个5M的数据结构

　　　　　　2.sortShuffle有不定期估算机制，来估算这个内存结构的大小，当估算超过真实的大小，会申请内存：2*估算大小-当前大小

　　　　　　3.申请到内存继续写入内存数据结构，申请不到会溢写磁盘

　　　　　　4.溢写磁盘过程中有排序，每批1万条数据溢写，最终对应两个磁盘文件：一个索引文件，一个数据文件

　　　　　　5.reduce task拉取数据首先读取索引文件，再拉取数据

　　　　bypass机制：产生磁盘小文件数量：2*M(map task number)

　　　　

　　　　步骤：

　　　　　　1.map task处理完数据之后，首先写入一个5M的数据结构

　　　　　　2.sortShuffle有不定期估算机制，来估算这个内存结构的大小，当估算超过真实的大小，会申请内存：2*估算大小-当前大小

　　　　　　3.申请到内存继续写入内存数据结构，申请不到会溢写磁盘

　　　　　　4.溢写磁盘过程中没有排序，每批1万条数据溢写，最终对应两个磁盘文件：一个索引文件，一个数据文件

　　　　　　5.reduce task拉取数据首先读取索引文件，再拉取数据