使用的flink版本:1.9.1

异常描述

需求:

  1. 从kafka读取一条数据流
  2. 经过filter初次筛选符合要求的数据
  3. 然后通过map进行一次条件判断再解析。这个这个过程中可能返回null或目标输出outData。
  4. 最后将outData通过自定义sink写入hbase。
转换核心代码:
val stream: DataStream[Input] = source.filter(s => (!s.equals(null)) && (s.contains("\"type\":\"type1\"") || s.contains("\"type\":\"type2\"")))//一次过滤
.map(json => {
try {
val recode: JSONObject = JSON.parseObject(json)
val dataStr: String = recode.getString("data")
val type = recode.getString("type")
val data = JSON.parseObject(dataStr)
var id: String = ""
type match {
case "type1" => {
if (data.getInteger("act") == 2) { //二次过滤
if (data.getJSONArray("ids").toArray().length > 0)
id = recode.getString("id") + "," + data.getJSONArray("ids").toArray().mkString(",")
else
id = recode.getString("id")
Input( id.reverse, data.getString("sid"), data.getString("sn"), recode.getLong("time"), recode.getLong("time") * 1000)//正常输出----标记点:1
} else null//非目标输出 导致问题的位置 此处给个随便的默认值 只要不是null就不会出问题,但是这样后面操作需要二次过滤-----标记点:2
}
case "type2" => {
if (data.getInteger("act") == 2) { //二次过滤
id = recode.getString("id")
Input(id.reverse, data.getString("sid"), data.getString("sn"), recode.getLong("time"), recode.getLong("time") * 1000)//正常输出----标记点:1
} else null //非目标输出 导致问题的位置 此处给个随便的默认值 只要不是null就不会出问题,但是这样后面操作需要二次过滤 ----标记点:2
}
}
} catch {
case e => {
e.printStackTrace()
println("解析json失败: ", json)
Input("id","sid", "sn", 0l)
}
}
} ) val result: DataStream[Output] = stream.map(s => {
var rowkey = ""
s.id.split(",").map(id => rowkey += s"$id${9999999999l - s.ts}|")
if (rowkey.equals("")) {
null
} else {
Output(rowkey, s.sid, s.sn, s.ts + "")
}
}) result.addSink(new CustomSinkToHbase("habse_table", "cf", proInstance)).name("write to hbase").setParallelism(1)
自定义sink核心代码
override def invoke(value: Output, context: SinkFunction.Context[_]): Unit = {
println(s"on ${new Date}, put $value to hbase invoke ") //输出标记:1
try {
init()
val puts = new util.ArrayList[Put]()
value.rowkey.split("\\|").map(s => {
val rowkey = s
val put: Put = new Put(Bytes.toBytes(rowkey))
put.addColumn(Bytes.toBytes(cf), Bytes.toBytes("sid"), Bytes.toBytes(value.sid))
put.addColumn(Bytes.toBytes(cf), Bytes.toBytes("sn"), Bytes.toBytes(value.sn))
put.addColumn(Bytes.toBytes(cf), Bytes.toBytes("ts"), Bytes.toBytes(value.ts))
puts.add(put)
})
table.put(puts)
println(s"on ${new Date}, put $value to hbase succeese ")//输出标记:2
} catch {
case e => {
e.printStackTrace()
if (table != null) table.close()
if (conn != null) conn.close()
}
}
}
执行情况

在程序启动后,随着数据流的进入会产生不一样的结果:

  1. 如果数据从未有数据进入标记点2,那么一切正常
  2. 如果如果有数据进入标记点2,说明此时返回的是null,程序会马上报错:ExceptionInChainedOperatorException,后续的数据处理也会失败,程序陷入死循环。

具体表现如下:

java.lang.Exception: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask$LegacySourceFunctionThread.checkThrowSourceExecutionException(SourceStreamTask.java:217)
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask.processInput(SourceStreamTask.java:133)
at org.apache.flink.streaming.runtime.tasks.StreamTask.run(StreamTask.java:301)
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:406)
at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:705)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:530)
at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator
at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:654)
at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:612)
at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.collect(OperatorChain.java:592)
at org.apache.flink.streaming.api.operators.AbstractStreamOperator$CountingOutput.collect(AbstractStreamOperator.java:727)
at org.apache.flink.streaming.api.operators.AbstractStreamOperator$CountingOutput.collect(AbstractStreamOperator.java:705)
at org.apache.flink.streaming.api.operators.StreamSourceContexts$ManualWatermarkContext.processAndCollectWithTimestamp(StreamSourceContexts.java:310)
at org.apache.flink.streaming.api.operators.StreamSourceContexts$WatermarkContext.collectWithTimestamp(StreamSourceContexts.java:409)
at org.apache.flink.streaming.connectors.kafka.internals.AbstractFetcher.emitRecordWithTimestamp(AbstractFetcher.java:398)
at org.apache.flink.streaming.connectors.kafka.internal.KafkaFetcher.emitRecord(KafkaFetcher.java:185)
at org.apache.flink.streaming.connectors.kafka.internal.KafkaFetcher.runFetchLoop(KafkaFetcher.java:150)
at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.run(FlinkKafkaConsumerBase.java:715)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:100)
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:63)
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask$LegacySourceFunctionThread.run(SourceStreamTask.java:203)

问题追踪

在程序报错后在taskmanager日志的表现为错误日志无限循环,web页面的表现为任务的开始时间重置。

辅助输出,确定程序出错位置

通过在hbase中添加辅助输出,结果如下

on Tue Apr 21 18:30:41 CST 2020, put  Output(714114118412528160|,001,张三,1587471839) to hbase  invoke
on Tue Apr 21 18:30:42 CST 2020, put Output(714114118412528160|,001,张三,1587471839) to hbase invoke
on Tue Apr 21 18:30:44 CST 2020, put Output(714114118412528160|,001,张三,1587471839) to hbase invoke
on Tue Apr 21 18:30:45 CST 2020, put Output(714114118412528160|,001,张三,1587471839) to hbase invoke
on Tue Apr 21 18:30:47 CST 2020, put Output(714114118412528160|,001,张三,1587471839) to hbase invoke
.
.
.
on Tue Apr 21 18:30:45 CST 2020, put Output(714114118412528160|,001,张三,1587471839) to hbase invoke
on Tue Apr 21 18:30:47 CST 2020, put Output(714114118412528160|,001,张三,1587471839) to hbase invoke
//并没有到success这一步

如果数据流d1进入了标记点:2(输出null);

那么后续的数据流d2进入标记点:1(正常输出) ,此时在web页面task-manager stdout的中出现d2在输出标记:1 和输出标记:2(没有输出2的部分)无限循环。

输出标记:2 没有执行 说明没有写hbase。加上错误产生的条件为要有数据进入标记点:2,初步分析是这个null的返回值影响到了后面hbase的操作。


问题解决

无效手段
  1. 写hbase前过滤掉null的值
    val result: DataStream[Output] = stream.map(s => {
var rowkey = ""
s.id.split(",").map(id => rowkey += s"$id${9999999999l - s.ts}|")
if (rowkey.equals("")) {
null
} else {
Output(rowkey, s.sid, s.sn, s.ts + "")
}
}).filter(_!=null)//过滤null

经过测试,此方法无效。

有效的手段
  1. 将二次过滤放到一次过滤的位置
 source.filter(s => (!s.equals(null)) && (s.contains("\"type\":\"type1\"") || s.contains("\"type\":\"type2\"")) && (s.contains("\"act\":2"))//提前过滤act=2

问题解决,但是因为业务的问题,act不是通用条件,不具备通用性。当然可以进行了;进行两次filter,但是过于繁琐并且会产生多条数据流。

  1. 将标记点2的null改成默认值,然后通过二次过滤,去除默认值
 type match {
case "type1" => {
if (data.getInteger("act") == 2) { //二次过滤
if (data.getJSONArray("ids").toArray().length > 0)
id = recode.getString("id") + "," + data.getJSONArray("ids").toArray().mkString(",")
else
id = recode.getString("id")
Input( id.reverse, data.getString("sid"), data.getString("sn"), recode.getLong("time"), recode.getLong("time") * 1000)//正常输出----标记点:1
} else Input("id","sid", "sn", 0l)//非目标输出 默认值--标记点:2
}
case "type2" => {
if (data.getInteger("act") == 2) { //二次过滤
id = recode.getString("id")
Input(id.reverse, data.getString("sid"), data.getString("sn"), recode.getLong("time"), recode.getLong("time") * 1000)//正常输出----标记点:1
} else Input("id","sid", "sn", 0l) //非目标输出 默认值--标记点:2
}
}

问题解决,但是从整体数据量来看,标记点1的数量仅为标记点2数量的六分之一到五分之一之间,此处会做很多无用的json解析。在大数据量的时候还是会对效率的些许影响

  1. 采用侧输出进行数据分流,将一次过滤的通过侧输出拆分,对拆分后的出具进行特定条件的二次过滤,然后进行对应的解析。
 /**
* 数据流处理
*
* @param source
* @return
*/
def deal(source: DataStream[String]) = {
println("数据流处理")
//拆分数据流
val splitData: DataStream[String] = splitSource(source)
//解析type1的
val type1: DataStream[Input] = getMkc(splitData) //解析type2
val type2: DataStream[Input] = getMss(splitData) //合并数据流
val stream: DataStream[Input] = type1.union(type2) //拼接rowkey
val result: DataStream[Output] = stream.map(s => {
var rowkey = ""
s.id.split(",").map(id => rowkey += s"$id${9999999999l - s.ts}|")
if (rowkey.equals("")) {
null
} else {
Output(rowkey, s.prdct_cd, s.sid, s.sn, s.ts + "")
}
}) //将结果写入hbase
result.addSink(new CustomSinkToHbase("habse_table", "cf", proInstance)).name("write to hbase").setParallelism(1) env.execute("test")
} /**
* 从侧输出中获取type1的数据,过滤开始演唱数据 .filter(_.contains("\"act\":2")) 进行解析
* @param splitData
* @return
*/
def getMkc(splitData: DataStream[String]): DataStream[Input] = {
splitData.getSideOutput(new OutputTag[String]("type1"))
.filter(_.contains("\"act\":2"))
.map(str => {
try {
val recode: JSONObject = JSON.parseObject(str)
val dataStr: String = recode.getString("data")
val data = JSON.parseObject(dataStr)
var id: String = ""
if (data.getJSONArray("ids").toArray().length > 0)
id = recode.getString("id") + "," + data.getJSONArray("ids").toArray().mkString(",")
else
id = recode.getString("id")
Input( id.reverse, data.getString("sid"), data.getString("sn"), recode.getLong("time") * 1000)
} catch {
case e => {
e.printStackTrace()
println("解析json失败: ", str)
Input("id","sid", "sn", 0l)
}
}
}
)
} /**
* 从侧输出中获取type2的数据,过滤开始演唱数据 .filter(_.contains("\"act\":2")) 进行解析
* @param splitData
* @return
*/
def getMss(splitData: DataStream[String]): DataStream[Input] = {
splitData.getSideOutput(new OutputTag[String]("type2"))
.filter(_.contains("\"act\":2"))
.map(str => {
try {
val recode: JSONObject = JSON.parseObject(str)
val dataStr: String = recode.getString("data")
val data = JSON.parseObject(dataStr)
var id: String = ""
id = recode.getString("id")
Input(id.reverse, data.getString("sid"), data.getString("sn"), recode.getLong("time") * 1000)
} catch {
case e => {
e.printStackTrace()
println("解析json失败: ", str)
Input("id","sid", "sn", 0l)
}
}
}
)
} /**
* 使用侧输出切分数据流
* @param source
* @return
*/
def splitSource(source: DataStream[String]) = {
source.process(new ProcessFunction[String, String] {
override def processElement(value: String, ctx: ProcessFunction[String, String]#Context, out: Collector[String]): Unit = {
value match {
case value if value.contains("\"type\":\"type1\"") => ctx.output(new OutputTag[String]("type1"), value)
case value if value.contains("\"type\":\"type2\"") => ctx.output(new OutputTag[String]("type2"), value)
case _ => out.collect(value)
}
}
})
}

问题解决,对比1的好处是,侧输出的时候,数据流还是只有一个,只是给数据打了一个标签,并且对可后期业务的扩展很友好。


总结

其实虽然问题解决了,但是具体问题出现的原理并没有整理明白。

目前猜测是null的输出类型对后续的输入类型有影响,但是具体的影响怎么发生,估计得抽空研究源码才能知道了。后续有结果再更

本文为原创文章,转载请注明出处!!!

ExceptionInChainedOperatorException:flink写hbase对于null数据导致数据导致出现异常的更多相关文章

  1. Redis面试题记录--缓存双写情况下导致数据不一致问题

    转载自:https://blog.csdn.net/lzhcoder/article/details/79469123 https://blog.csdn.net/u013374645/article ...

  2. 手把手教你写带登录的NodeJS爬虫+数据展示

    其实在早之前,就做过立马理财的销售额统计,只不过是用前端js写的,需要在首页的console调试面板里粘贴一段代码执行,点击这里.主要是通过定时爬取https://www.lmlc.com/s/web ...

  3. Spark-读写HBase,SparkStreaming操作,Spark的HBase相关操作

    Spark-读写HBase,SparkStreaming操作,Spark的HBase相关操作 1.sparkstreaming实时写入Hbase(saveAsNewAPIHadoopDataset方法 ...

  4. 使用Apache Flink 和 Apache Hudi 创建低延迟数据湖管道

    近年来出现了从单体架构向微服务架构的转变.微服务架构使应用程序更容易扩展和更快地开发,支持创新并加快新功能上线时间.但是这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难.为了获得更深入和更 ...

  5. 【hbase】——bulk load导入数据时value=\x00\x00\x00\x01问题解析

    一.存入数据类型 Hbase里面,rowkey是按照字典序进行排序.存储的value值,当用filter进行数据筛选的时候,所用的比较算法也是字典序的. 1.当存储的value值是float类型的时候 ...

  6. 应用Flume+HBase采集和存储日志数据

    1. 在本方案中,我们要将数据存储到HBase中,所以使用flume中提供的hbase sink,同时,为了清洗转换日志数据,我们实现自己的AsyncHbaseEventSerializer. pac ...

  7. MySQL实例多库某张表数据文件损坏导致xxx库无法访问故障恢复

    一.问题发现 命令行进入数据库实例手动给某张表进行alter操作,发现如下报错. mysql> use xx_xxx; No connection. Trying to reconnect... ...

  8. 《MySQL必知必会》过滤数据,数据过滤(where ,in ,null ,not)

    <MySQL必知必会>过滤数据,数据过滤 1.过滤数据 1.1 使用 where 子句 在SEL ECT语句中,数据根据WHERE子句中指定的搜索条件进行过滤. WHERE子句在表名(FR ...

  9. c# 传递Null的string值导致的调用C++的dll报错 Attempted to read or write protected memory.

    c# 调用C++的dll报错 Attempted to read or write protected memory:   原因是:c# 传递Null的string值导致的,将Null改为string ...

随机推荐

  1. python之目录

    一.python基础 ​ python之字符串str操作方法 ​ python之int (整型) ​ python之bool (布尔值) ​ python之str (字符型) ​ python之ran ...

  2. Python Seaborn综合指南,成为数据可视化专家

    概述 Seaborn是Python流行的数据可视化库 Seaborn结合了美学和技术,这是数据科学项目中的两个关键要素 了解其Seaborn作原理以及使用它生成的不同的图表 介绍 一个精心设计的可视化 ...

  3. PHP7内核(五):系统分析生命周期

    上篇文章讲述了模块初始化阶段之前的准备工作,本篇我来详细介绍PHP生命周期的五个阶段. 一.模块初始化阶段 我们先来看一下该阶段的每个函数的作用. 1.1.sapi_initialize_reques ...

  4. nginx使用手册+基本原理+优缺点

    一.nginx优点 1.反向代理 1.正向代理: 客户端和原始服务器(origin server)之间的服务器,为了从原始服务器取得内容,客户端向代理发送一个请求并指定目标(原始服务器),然后代理向原 ...

  5. yum,rpm等失效,使用系统安装包ISO文件降级程序恢复系统

    linux平台:REHL6.7 故障原因:由于不小心使用命令yum update nss误升级了工作平台中nss系列工具包导致系统中yum 和 rpm命令执行都报错. 由于yum rpm命令都不好用使 ...

  6. ovirt 替换自主签署证书

    需求我自己写了一个python后台,添加上了ovirt 引擎web上,如图 但第一次访问时需要,需要接受两次不安全连接,ovirt  web使用https,我往里面加http,加不进去. 只能同样使用 ...

  7. Node教程——Node+MongoDB案例实现用户信息的增删改查

    想要获取源代码的同学可以留言,我不做git上传了,案例太简单 没必要 综合演练 用户信息的增删改查 需求:你需要实现这样的结果 点击添加可以添加用户,点击删除可以删除点击修改可以修改 代码分析: 1. ...

  8. Let‘s play computer game(最短路 + dfs找出所有确定长度的最短路)

    Let's play computer game Description xxxxxxxxx在疫情期间迷上了一款游戏,这个游戏一共有nnn个地点(编号为1--n1--n1--n),他每次从一个地点移动 ...

  9. 基于华为云IoT Studio自助生成10万行代码的奥秘

    华为IoT小助手们搬好板凳.备好笔记本.听了HDC.Cloud的几场华为云技术架构师的直播讲课,感觉获益匪浅却又似懂非懂,直后悔自己没有好好打下基础.为了避免再次出现这样的情况,小助手偷偷跑去找了华为 ...

  10. MFC之使用blat发送邮件

    blat的下载地址:http://www.blat.net 我用它进行了smtp服务的邮件发送.这里我使用的qq邮箱,qq邮箱使用的密码是授权码,可以再qq邮箱设置里面开启smtp服务.下载下来是文件 ...