Spark源码学习1.5——BlockManager.scala

一、BlockResult类

该类用来表示返回的匹配的block及其相关的参数。共有三个参数：

data：Iterator [Any]。

readMethod： DataReadMethod.Value。

bytes： Long。

实例化InputMetrics类。

二、BlockManager类

关系的参数有executorId，blockManagerMaster，mapOutPutTracker等。关系的类有ShuffleBlockManager类，DiskBlockManager类，ConnectionManager类，MemoryStore类，DiskStore类等。包含以下操作：

1、检查broadcast，shuffle，rdds，shuffleSpill存储时是否被压缩。

2、定义其slaveActor。

3、建立一个BlockManagerSlaveActor(this, mapOutputTracker)。

4、一个lazy val compressionCodec，压缩包解码器。lazy表示在调用它时才实例化一个解码器，主要是针对用户自定义的jar包。

包含的方法有：

1、initialize()：初始化操作，主要是向master（BlockManagerMaster）注册BlockManager，并启动BlockManagerWorker。

2、reportAllBlocks()：再次将所有的blocks汇报给BlockManager。这个方法强调所有的blocks必须都能在BlockManager的管理下，因为可能会出现各种因素，如slave需要重新注册、进程冲突导致block变化等，让blocks产生变化。

3、reregister()：重新注册BlockManager，这个方法主要是在心跳进程发现BlockManager没有注册时调用。这个方法的调用无需在锁状态下执行。

4、asyncReregister()：异步地重新向master注册BlockManager。

5、waitForAsyncReregister()：如果有其他的异步重注册进程，则等待。

6、getStatus(block Id: BlockId)：根据blockId获取block的信息。

7、getMatchingBlockIds()：指定过滤器对所有的blocks进行过滤。

8、reportBlockStatus()：向master报告block所在存储位置的状况，这个信息不仅反映了block当前的状态，还用于更新block的信息。但是这个存储状态的信息，如磁盘、内存、cache存储等等，并不一定是block的Information中所期望的存储信息，例如MEMORY_AND_DISK等。

9、tryToReportBlockStatus()：实际上是发送UpdateBlockInfo信息，返回master返回的信息。block记录正确则返回true，slave需要重新注册则返回false。信息包括storageLevel, inMemSize, inTachyonSize, onDiskSize等

10、getCurrentBlockStatus()：返回指定block所在存储块的最新信息。特别的，当block从内存移到磁盘时，更改其存储级别并更新内存和磁盘大小。

11、getLocationBlockIds()：获取一系列block的位置。

12、getLocalFromDisk()：直接从磁盘获取block，主要是用来获取shuffle block的。

13、getLocal()：从本地block manager获取block。

14、getLocakBytes()：以序列化字节流的形式从本地block manager获取block。

15、doGetLocal()：getLocalBytes()的实际操作函数，用来获取block并以序列化形式输出。需要处理的问题主要是同步问题，既要保证block仍然在指定的存储位置，也要保证block没有处于写的锁状态（尽管如此，Spark提示它仍然存在一定的隐患，block被移除）。

16、getRemote()：从远程block manager获取block。

17、getRemoteBytes()：同getLocalBytes()。

18、doGetRemote()：与doGetLocal()类似。

19、get()：从block manager获取block，无论本地还是远程。

20、getMultiple()：根据BlockManagerIds获取一系列的block。

21、putIterator()：在Iterator中加入block的信息。

22、getDiskWriter()：创建一个能够直接将数据写到磁盘的writer，block通过文件名来指定写入的文件，这个方法通常用来在shuffle之后写入shuffle的输出文件。

23、putArray()：在block manager中写入新的block，block的值是Array数组。

24、putBytes()：在block manager中写入新的block，block的值是序列化的字符流。这个方法和putArray都是使用doPut()来实际写入信息到block manager。

25、doPut()：将给定的block根据给定的存储等级（内存还是磁盘）写入相应的block存储区，必要时复制其中的数据。实际有效的存储级依赖于block最终所挂载的区域，因此调用者可以指定存储级，而不是依靠最初由用户指定的存储级来确定（用户可能存在错误或恶意行为）。doPut()需要考虑的问题包括：block信息的写入，block的值的处理，block向block manager和master的注册，block存储的位置（先内存，后实际考虑），报告block所在存储区的信息，block manager信息的更新等。

26、replicate()：复制block到另外的节点上。

27、putSingle()：在block manager中写入新的block，block的值是一个对象。调用的方法是putIterator。

28、dropFromMemory()：将内存中的block溢出到磁盘中。往往在内存达到限制时调用。

29、removeRdd()：将指定RDD的block全部移除，返回移除的block的数量。

30、removeBroadcast()：将指定的broadcast的block全部移除。这个方法和removeRdd都是循环移除自身的所有block，移除的方法为removeBlock()。

31、removeBlock()：移除内存和磁盘中的指定block。同时需要告知master并更新block信息reportBlockStatuses。

32、dropOldNonBroadcastBlocks()和dropOldBroadcastBlocks()：移除旧的没有的/旧的broadcast block。

33、dropOldBlocks()：移除没有用的block。

34、shouldCompress()：判断是否经过压缩，共有四种压缩包——shuffle，broadcast，rdds，shuffleSpill。

35、wrapForCompression()：有两种加载方式，根据参数决定是压缩输入流还是压缩输出流。

36、dataSerializeStram()：序列化为流。

37、dataSerialize()：序列化为字符缓存。

38、dateDeserialize()：反序列化字符缓存为迭代的参数值，并且在末尾对该值进行处理。在对block进行处理的时候，如果block是shuffle的block，也就是会传递给reduce进行处理的block时，需要进行压缩（lazy的）。

39、stop()：清除各种类的实例化对象。

三、BlockManager对象

针对blockId进行了注册、处理等操作。