问题: 用  spark-submit --master yarn --deploy-mode cluster --driver-memory 2G --num-executors 6 --executor-memory 2G ~~~ 提交任务时,最后一个executor 执行时间 超过了 160s 导致 timeout而退出,造成任务重新执行造成用时过长.具体请看下面介绍: // :: WARN spark.HeartbeatReceiver: Removing executor with n

date: 2018-04-19 21:00 tag: java,mysql,exception,mat,调试,jvm 工具: gceasy.io, MAT 线上系统出现一个诡异的bug,通过heap dump分析 分析: 通过日志确认系统在一天前就已经停止运行 代码较简单应该不存在DB写入操作死锁 mysql操作不是特别频繁 定位: 使用jmap -dump导出线上的应用的heap dump jstack 导出堆栈信息 分析jstack发现多个Thread在DB写入时在等待同一把锁 通过MAT

Spark源码分析 – SparkContext 中的例子, 只分析到sc.runJob 那么最终是怎么执行的? 通过DAGScheduler切分成Stage, 封装成taskset, 提交给TaskScheduler, 然后等待调度, 最终到Executor上执行 val sc = new SparkContext(--) val textFile = sc.textFile("README.md") textFile.filter(line => line.contains(

zookeeper的maxSessionTimeout默认值导致hbase regionserver超时 在hbase中经常会遇到regionserver挂掉的情况,查看日志会看到这样的错误信息 2016-02-16 11:51:24,882 WARN  [master/hadoop02/192.168.100.5:6000] zookeeper.ZKUtil: master:6000-0x3525df55101a556, quorum=hadoop02:2181,hadoop03:2181,h

WebSphere中数据源连接池太小导致的连接超时错误记录. 应用连接超时错误信息: [// ::: CST] webapp E com.ibm.ws.webcontainer.webapp.WebApp logServletError SRVE0293E: [Servlet Error]-[ServletNameNotFound]: org.springframework.jdbc.UncategorizedSQLException: Hibernate operation: Cannot o

java.net.MalformedURLException: unknown protocol: c这个错一般有两种原因导致:1.URL协议.格式或者路径错误, 好好检查下你程序中的代码如果是路径问题,最好不要包含中文路径,因为有时中文路径会乱码,导致无法识别

golang关键字select的三个例子, time.After模拟socket/心跳超时   例子1 select会随机选择一个可执行的case   // 这个例子主要说明select是随机选择一个可执行的case func main() { // 定义两个chan, 用于存储数据 // 由于我打算提前把数据存进去, 所以定义缓冲区为10 chan1 := make(chan int, 10) chan2 := make(chan int, 10) // 在两个chan中都放入10个数据 fo

目前平台使用Kafka + Flume的方式进行实时数据接入,Kafka中的数据由业务方负责写入,这些数据一部分由Spark Streaming进行流式计算:另一部分数据则经由Flume存储至HDFS,用于数据挖掘或机器学习.HDFS存储数据时目录的最小逻辑单位为“小时”,为了保证数据计算过程中的数据完整性(计算某个小时目录中的数据时,该目录的数据全部写入完毕,且不再变化),我们在Flume中加入了如下策略:   每五分钟关闭一次正在写入的文件,即新创建文件进行数据写入.   这样的方式可以保证

1.1 例子,美国 1880 - 2014 年新生婴儿数据统计 目标:用美国 1880 - 2014 年新生婴儿的数据来做做简单的统计 数据源:https://catalog.data.gov 数据格式: 每年的新生婴儿数据在一个文件里面 每个文件的每一条数据格式:姓名,性别,新生人数 1.2 运行流程概览 上面的 22 行代码,就已经把构建一个 spark app 的三大步骤完成了,amazing, right? 今天我们主要讲 spark 的运行逻辑,所以我们就以核心的 11 - 16 ,这

背景 长话短说,我们部门一个同事找到我,说他的spark 2.3 structured streaming程序频繁报OOM,从来没有坚持过超过三四天的,叫帮看一下. 这种事情一般我是不愿意看的,因为大部分情况下spark oom就那么几种可能: 数据量拉太大,executor内存爆了: shuffle过程中数据量太大,shuffle数太少,内存又爆了: 闲着蛋疼调用collect之类的方法,把数据往dirver上一聚合,driver内存爆了 闲着蛋疼又调用了一下persist还把结果存内存,还是

package com.diancai.interceptor; import java.io.IOException; import javax.servlet.Filter; import javax.servlet.FilterChain; import javax.servlet.FilterConfig; import javax.servlet.ServletException; import javax.servlet.ServletRequest; import javax.se

Task 自带有很多等待任务完成的方法,有的是实例方法,有的是静态方法.有的阻塞,有的不阻塞.不过带超时的方法只有一个,但它是阻塞的. 本文将介绍一个非阻塞的带超时的等待方法.   Task 已有的等待方法 Task 实例已经有的等待方法有这些: ▲ Task 实例的等待方法 一个支持取消,一个支持超时,再剩下的就是这两个的排列组合了. 但是 Task 实例的等待方法都有一个弊端,就是 阻塞.如果你真的试图去等待这个 Task,势必会占用一个宝贵的线程资源.所以通常不建议这么做. 另外,Task

Task是介于DAGScheduler和TaskScheduler中间的接口 在DAGScheduler, 需要把DAG中的每个stage的每个partitions封装成task 最终把taskset提交给TaskScheduler   /** * A task to execute on a worker node. */ private[spark] abstract class Task[T](val stageId: Int) extends Serializable { def run

客户端每5秒发送一次心跳给服务端,服务端记录最后一次心跳时间,通过定时任务每10秒检测一下,如果当前时间与最后一次收到的心跳时间之差超过某个阈值,断开与客户端的连接.基于之前的例子(netty5心跳与业务消息分发实例),我们修改下服务端的心跳handler(HeartBeatServerHandler): package com.wlf.netty.nettyserver.handler; import com.wlf.netty.nettyapi.constant.MessageType; i

一个服务程序在后台跑,用到了BDE访问SQLServer,隔了一段时间就会莫名其妙的与数据库连接失败,查了一下BDE,发现已经死掉了,bde administrator也无法打开,报错,重启或注销机器后才正常.头逼得急,让我尽快查出问题,但我一点头绪都没,对BDE这东西以前也没接触过.能否给点线索或启示,想请教一下高手,有哪些原因可能导致BDE死掉啊.谢谢 修改一下BDE的默认参数就可以了,因为默认的BDE的BUFFER只有2M,对于现在的程序实在太小了,下面我有BDE修改参数,只供参考,最好根

最近在Hive中使用Spark引擎进行执行时(set hive.execution.engine=spark),经常遇到return code 30041的报错,为了深入探究其原因,阅读了官方issue.相关博客进行了研究.下面从报错现象.原因分析.解决方案几个方面进行介绍,最后做一下小结. (一)报错现象 ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.Sp

如果你正在构建一个基于 gulp 的前端自动化开发环境,那么极有可能会用到 gulp-sass ,由于网络原因你可能会安装失败,因为安装过程中部分细节会到亚马逊云服务器上获取文件.本文主要讨论在不变更网络环境的前提下安装 gulp-sass / node-sass . 问题描述 执行 npm install 安装软件包 gulp-sass $ npm install gulp-sass 这个过程中会先安装 node-sass ,因为 gulp-sass 依赖于 node-sass .中间出现的错

公司一个数据抓取的程序,数据量极大,读取数据的用IDataReader的Read方法来进行数据处理,在测试的时候我想跑一部分数据后跳出循环,即break; 然后关闭datareader,但是在执行datareader.close()方法的时候出现了“超时异常”的错误, 查看了一下MSDN对Close方法的说明的备注 如下: 当使用 SqlDataReader 将关联的 SqlConnection 用于任何其他用途时,必须显式调用 Close 方法. Close 方法填写输出参数的值.返回值和 R

今天在公司使用spring cloud config搭建配置中心的时候,出现了读取不到git库的问题:Cannot clone or checkout repository.在网上百度,前面几个答案都是在spring.cloud.config.server.git.uri的值后面加上.git,这个明显是不对的,而且后面我也验证了,这个在2.0.0的spring cloud上是不存在的,如果出现了这个问题,肯定是用了早期版本的spring cloud. 后面突然想到,我们公司走外网是要通过代理服务

错误信息: NotSerializableException Failed to serialize object Proxy   报这个错,一开始就往没有序列化这一块想,可是报错点是: excelTableService.sendMessage(smsService,userSession,procInstance,type,cipConfigFile);   这个函数的参数都是有值的.而且这个方法是ServiceBean,本身报错的类又是一个Controller,也是一个Bean,能序列化吗

假设一种情景:TCP服务器有1万个客户端连接,如果客户端5秒钟不发数据,则要断开.服务端如何检测客户端是否超时?这看起来是一个非常简单的问题,其实不然! 最简单的处理方法是:启动一个线程,每隔一段时间,检查每个连接是否超时.每次处理需要1万次检查.计算量太大!检查的时间间隔不能太小,否则大大增加计算量:如果间隔时间太大,超时误差会增大. 本文提出一种新颖的处理方法,就是针对这个看似简单而不易解决的问题!(以下用socket表示一个客户端连接)  1 内存布局图 假设socket3有新的数据到达,