Spark Streaming揭秘 Day24 Transformation和action图解

Spark Streaming揭秘 Day24

Transformation和action图解

今天我们进入SparkStreaming的数据处理，谈一下两个重要的操作Transfromation和action背后的故事。

InputReceiver

根据前面的课程，我们知道Transformation是逻辑级别的状态转换，并没有真的发生。
让我们从第一个Transformation，也就是SocketTextStream开始。

这里需要注意的是，这里返回的是字符串类型，这个是通过converter也就是byteToLine方法来实现的。

进入父类，也就是SocketInputDStream。
其中关键对象是SocketReceiver，其中比较关键的是调用了hasNext方法，这里用到了一个命令模式，具体会指向socketTextStreamin传入的byteToLine方法生成。

在伴生对象中我们看到了byteToLine的实现，具体实现了一个命令。

此外，onStop方法为空，没有清空资源，因为在receive方法中已经进行了处理，如果当停止时会中断。

进入到SocketReceiver的父类Receiver

其中的关键方法是restart，它会告诉supervisor去重新启动，并用了一个future对象实现了异步调用。

InputDStream

下面让我们转入DStream。

首先看下，ReceiverInputDStream，关键方法是compute，输入流以时间为单位计算产生RDD，也说明了ReceiverInputDStream的实例对象是在Driver中的。

进入父类InputDStream。

这里有一个关键代码，将inputDStream添加至DStreamGraph中。

DStreamGraph

DStreamGraph是作为整个DStream处理的枢纽存在。包含所有的输入和输出。

outputStreams的作用是应用程序可能包含多个action，那么每个action会对应一个outputStream，同时每个outputStream生成一个Job。
outputStreams都是通过DStream的register方法来生成的。

自此，基本对Transformation和action中设计的对象进行了一下遍历。

小结

下面开始绘图，从两个基本数据结构inputStreams和outputStreams出发，在继承结构中表现的数据结构存储大家要注意。

欲知后事如何，且听下回分解!

DT大数据每天晚上20：00YY频道现场授课频道68917580