spark分区

　　spark默认的partition的分区数是和本机CPU的核数保持一致；
　　bucket的数量和reduce的数量一致；buket的概念是map会将计算获得数据放到各个buket中，每个bucket和一个reduce对应；bucket的数量其实就是和partition数量。而且是每个mapper都会写入partition数量的bucket
　　在spark中shuffle分为两个阶段，分别为shuffle write以及shuffle fetch（read），前者是指写入buket，后者是指将buket数据传输到reduce节点；
　　我觉得shuffle就是意味着（数据）需要跨节点重排；1000-》100个之所以不需要shuffle就是因为需要得资源变少了，其实节点内部合并即可而不像也要重新调度（分区的本质就是数据重新分配）；但是100-》1000则可能会引发重新分区；比如当前机器只有10个核，已经全部占用，想要扩容之能是对数据进行重排，部分数据要分派到别的节点（扩容）中去，这个时候就会引发shuffle；
　　在Map-Reduce的重排是指从Map数据项reduce节点汇聚，其实就是引发了一次跨节点重排；在    spark里面的重分区，coalesce函数和reduce的貌似类似，其实有本质差别，都是减少，但是coales的减少默认是在节点内部（shuffle=false），自行消化，reduce的一般都是需要跨机器（极端情况map-reduce都是一台机器可以避免）；但是coalesce可以是扩容，只要指定shuffle=true即可实现。但是，但凡是shuffle，一般都是比较耗费性能，因为需要数据重新排序，调度以及跨节点传输。

　　分区有规则，默认的规则是hash以及区间分区，hash分区是为了能够利用并发进而提高计算效率；区间分区是为了需要计算的数据在物理上部署在一起，避免计算数据分布，还需要跨节点/进程运算，区间分区后，可以达到提高计算效率的目的；
　　还有就是可以自定义分区，按照需要对数据进行分区，比如数据如果想要写入到HFile中，为保证同一个regionServer的数据可以写到一个hfile中，可以自定义个分区规则，就是根据rowkey区间来进行分区，这个和区间分区比较类似，但是因为rowKey是byte[]，而且还要判断给定的rowKey所落在的分区编号，所以需要进行额外的处理。

　　Job包含Stage包含Task，在spark世界里面，task就是mapper；上面讲述的mapper写入bucket其实就是task将数据写入到对应的分区文件中（每个task都会有一套分区文件），值为：
　　 task数量 * partition数量 
　　因为分区文件太过于碎小，spark又推出了 Consalidate技术，用于把同核的同分区的文件进行合并，这样文件数量就见小为
　　 cpu core数量 * 分区值

　　Hash Shuffle和Sorted Shuffle，前者比较合适中小数据规模，因为不需要排序，所以当下计算速度会非常快，但是这种排序方式在大量数据情况下，将会形成大量的小文件，导致I/O处理频发，成为计算处理平静；sorted shuffle生成文件比较少，在海量数据的情况比较适合。

　　但是spark分区是需要成本，这里需要权衡，如果数据只是计算一次，到底有多少重分区的意义，因为数据重新分桶也是需要性能损耗。所以对于spark的重分区，掌握两个原则：如果是想要享受同步进行的快感，采用hash分区；否则，就像一次性计算之类的就不要再进行重分区了。