streamsets 错误记录处理

我们可以在stage 级别，或者piepline 级别进行error 处理配置

pipeline的错误记录处理

• discard（丢踢）
• send response to Origin pipeline传递错误记录回microservice origin ，同时包含了错误的record 个数以及metrics ，只能在microservice pipeline 中使用
• write to anothoer pipeline 将错误写到其他的sdc rpc pipeline中，同上， 数据包含了错误记录书以及metrics ，你必须创建sdc rpc 目的pipeline 去处理
  错误记录，同时pipeline 必须包含一个从当前pipeline读取错记录的sdc rpc origin 配置
• write to Azure Event hub 基于云的设置（一般我们用不到）
• write to Elasticsearch 写到es 中
• write to file 写到文件中
• write to google cloud storage 写到google 云存储中
• write to google pub/sub
• write to kafka 写到kafka 中
• write to kinesis
• write to mapR streams
• write to mqtt

stage （阶段）错误记录处理

• discard 丢踢
• send to error 将错误发送到pipeline
• stop pipeline 停止pipeline

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/ErrorHandling.html#concept_pm4_txm_vq