一次spark卡顿分析

在104上面执行，经常会发生卡到了如下一句话：

storage.BlockManagerInfo: Added broadcast_8_piece0

当再次卡顿的时候，我直接退出，然后通过yarn看后台的日志到底发生了什么，一看在这个地方频繁的爆出链接zookeeper失败；一看日志中的打出来的zookeeper的地址竟然只有127.0.0.1；

原来修改代码，直接copy官网的demo，HBase的config直接new，但是其实是应该通过

def getHBaseConfig() = {

val hbaseConfig = HBaseConfiguration.create()

hbaseConfig.set("hbase.zookeeper.property.clientPort", Config.HBase_ClientPort)

hbaseConfig.set("zookeeper.znode.parent", Config.HBase_Parent)

hbaseConfig.set("hbase.zookeeper.quorum", Config.HBase_Quorum)

 

hbaseConfig

}

来进行获取，来指定一些必要的信息，比如zookeeper的集群路径。

修改完毕后，问题消失。

 

对于可疑的过程，可以在发生的时候进行退出，然后查看聚合的日志，来分析原因。